AI-hallucinaties: wat zijn het en hoe maken cybercriminelen er misbruik van?

door Nicole Carignan

Cybercriminelen maken effectief gebruik van generatieve AI-tools – denk aan de toenemende linguïstische complexiteit van social engineering en phishing e-mails. Tegelijkertijd kunnen ze ook gebruikmaken van zwakke plekken in het Large Language Model (LLM) achter generatieve AI-tools in wat Adversarial Machine Learning wordt genoemd, oftewel het aanvallen van de modellen zelf. Een ander voorbeeld is het profiteren van pakkethallucinaties bij softwareontwikkeling, waarbij hallucinaties van LLM-uitvoer worden gebruikt om potentiële kwetsbaarheden uit te buiten. Maar wat zijn AI-hallucinaties precies? En welke veiligheidsrisico’s kunnen voortkomen uit AI-hallucinaties?

AI-tools openen de deur voor cybercriminelen

Op 30 november 2022 werd het gratis ‘conversational language’ generatieve AI-model ChatGPT gelanceerd door OpenAI, een onderzoeks- en ontwikkelingsbedrijf op het gebied van kunstmatige intelligentie (AI). De lancering van ChatGPT was het hoogtepunt van een ontwikkeling die al sinds 2018 gaande is en vertegenwoordigde de nieuwste innovatie in de opkomst van generatieve AI. Met deze lancering maakt OpenAI generatieve AI-tools voor het eerst toegankelijk voor iedereen. Dit heeft de manier waarop mensen omgaan met machine learning drastisch veranderd, namelijk door het beschikbaar te maken in hun natuurlijke taal.

[....]