28 mei. 2024
2 minuten
Wie een chatbot gebruikt moet uitkijken volgens Immersive Labs in het rapport ‘Dark Side of GenAI’. En waarvoor dan? Voor ‘prompt-injection’-aanvallen. Zo’n aanval maakt gebruik van specifieke instructies die jouw chatbot verleiden gevoelige (bedrijfs)informatie te onthullen. En om dat voor elkaar te krijgen hoef je geen ervaren cybercrimineel te zijn stelt Immersive Labs.
Een ‘prompt-injection’-aanval werkt door een chatbot, die gebaseerd is op generatieve kunstmatige intelligentie (GenAI) te manipuleren via zorgvuldig geformuleerde prompts. De instructies misleiden de bot die vervolgens vertrouwelijke informatie prijsgeeft. Het onderzoek van Immersive Labs stelt dat de aanvallen ook zijn uit te voeren door iemand zonder technische achtergrond. Dat maakt de dreiging des te gevaarlijker.
‘Prompt Injection Challenge’
Het rapport is gebaseerd op de resultaten van de ‘Prompt Injection Challenge’ van Immersive Labs die liep van juni tot september 2023. De deelnemers moesten een GenAI-bot een geheim wachtwoord zien te ontfutselen op 10 niveaus met een toenemende moeilijkheidsgraad. In totaal deden 316.637 mensen mee met in totaal 34.555 deelnemers die de hele uitdaging voltooiden.
Tot de meest verontrustende bevindingen behoorde de ontdekking dat 88 procent van de deelnemers de GenAI-bot met succes had misleid op ten minste één niveau. Bijna een vijfde van de deelnemers (17%) slaagde erin de bot op alle niveaus te misleiden, wat het risico onderstreept voor organisaties die GenAI-bots gebruiken.
Bevindingen
Het team onderzocht de verschillende gebruikte prompttechnieken, gebruikersinteracties, promptsentiment en resultaten om het onderzoek te onderbouwen. Een paar bevindingen:
- Gebruikers konden de GenAI-bots misleiden door geheimen in verhalen of gedichten te verwerken, of door oorspronkelijke instructies te wijzigen om ongeoorloofde toegang te krijgen.
- Zelfs niet-cyberbeveiligingsprofessionals konden succesvol prompt injection-aanvallen uitvoeren en dit onderstreept de toegankelijkheid van deze dreiging onderstreept.
- Momenteel bestaan er geen methoden om ‘prompt-injection’-aanvallen volledig te voorkomen, wat betekent dat organisaties constant voorbereid moeten zijn op deze dreiging.
Kev Breen, Senior Director of Threat Intelligence bij Immersive Labs en medeauteur van het rapport: "Op basis van onze analyse van de manieren waarop mensen GenAI manipuleren en de relatief lage toegangsdrempel, zijn wij van mening dat het noodzakelijk is dat organisaties beveiligingscontroles implementeren binnen Large Language Models en een ‘defense in depth’ benadering van GenAI hanteren. Dit omvat het implementeren van beveiligingsmaatregelen, zoals controles ter voorkoming van gegevensverlies, strikte invoervalidatie en contextbewuste filtering om pogingen tot manipulatie van GenAI-uitvoer te voorkomen en te herkennen."
Aanbevelingen
De aanbevelingen van Immersive Labs zijn duidelijk: samenwerking tussen de publieke en private sector is essentieel, evenals het ontwikkelen van beleid om de beveiligingsrisico’s van GenAI-bots te beperken. Organisaties moeten de afweging maken tussen beveiliging en gebruikerservaring en moeten voortdurend evalueren welke type conversatiemodellen worden gebruikt om het risico op datalekken te minimaliseren.
Het rapport ‘Dark Side of GenAI’ is op te vragen via https://www.immersivelabs.com/dark-side-of-genai-report/.