ChatGPT kan i dag meget mere end at skrive engelskopgaver og svare på spørgsmål om danske statsministre gennem tiden. I takt med at tjenesten har udviklet sig, er der kommet nye funktioner til, der blandt andet kan give adgang til mail, dokumenter, cloudtjenester og andre værktøjer. Det kan gøre ChatGPT mere personlig og give mere relevante svar, men betyder samtidig, at konsekvenserne ved et sikkerhedsbrud kan blive langt mere vidtrækkende.
Det viser en ny undersøgelse fra Check Point Research, som er en del af Check Point Software Technologies. I undersøgelsen opdagede forskerne et sikkerhedshul i ChatGPTs interne infrastruktur, der gjorde det muligt at skabe en skjult kommunikationsvej mellem to ellers separate ChatGPT-konti.
Konkret lykkedes det forskerne at infiltrere en brugers ChatGPT-session, så de kunne prompte sig til oplysninger fra den Gmail-konto, som var forbundet til tjenesten. Oplysningerne blev derefter sendt videre til en anden ChatGPT-konto, mens brugeren selv modtog et helt normalt svar.
En almindelig besked kunne aktivere angrebet
Angriberen kunne ikke få direkte adgang til en tilfældig brugers Gmail. Først skulle en skjult instruktion ind i offerets ChatGPT, f.eks. gennem en manipuleret prompt, en delt ChatGPT-samtale eller en specialbygget GPT.
I forskernes forsøg lå instruktionen i en delt ChatGPT-samtale. Når offeret åbnede samtalen og sendte en almindelig besked, kunne ChatGPT både besvare brugerens spørgsmål og samtidig udføre en skjult opgave fra angriberen. Fordi brugeren allerede havde forbundet sin Gmail-konto til ChatGPT, kunne AI-assistenten hente oplysninger derfra og sende dem videre til angriberen. For brugeren så samtalen imens normal ud.
Den eneste synlige indikation var et lille “Talked to Gmail”-mærke over svaret. På det tidspunkt var oplysningerne dog allerede blevet læst.
– Eksemplet viser med al tydelighed, hvilke risici der opstår, når AI-assistenter får adgang til stadig flere dele af vores digitale liv. I forsøget var det mails, men det kunne lige så godt være fortrolige dokumenter, kildekode eller kritiske virksomhedsdata. Jo mere adgang vi giver AI-assistenterne, desto mere attraktive bliver de også som mål for angribere. Fremover bliver det derfor mindst lige så vigtigt at beskytte, hvad AI må gøre på vores vegne, som at beskytte vores egne loginoplysninger, siger Balder Borup, Security Engineer Team Leader hos Check Point Software Technologies i Danmark.
AI-assistenten kan blive en ”manipuleret insider”
Den konkrete sårbarhed er lukket, men illustrerer en større sikkerhedsudfordring, hvor AI’en fungerer som en såkaldt “coerced insider” eller manipuleret insider. AI’en er ikke selv ondsindet, men kan manipuleres til at bruge de rettigheder og adgange, den allerede har fået, på vegne af en angriber.
– Det er ikke længere nok, at virksomheder har styr på hvilke AI-værktøjer medarbejderne bruger, det er også en nødvendighed at kortlægge, hvad de enkelte værktøjer har adgang til. En AI-assistent bør i praksis behandles som enhver anden bruger i systemet og kun have adgang til de data, der er nødvendige, for at den kan udføre en opgave, slutter Balder Borup.
Den fulde rapport kan læses her.
