Wat gebeurt er als een met kunstmatige intelligentie uitgevoerde cyberaanval het betalingsverkeer platlegt, de internetverbindingen verstoort of zelfs de elektriciteits- en watervoorziening ontregelt? Grote AI-bedrijven als OpenAI en Anthropic houden inmiddels serieus rekening met zo’n scenario. Achter de schermen bereiden zij zich niet alleen voor op de technische gevolgen van een dergelijke aanval, maar vooral ook op de maatschappelijke en politieke reactie die daarop kan volgen.

Dat meldt de Amerikaanse nieuwssite Axios op basis van gesprekken met betrokkenen binnen de AI-sector. Topbestuurders en veiligheidsexperts van verschillende AI-bedrijven werken aan scenario’s voor de periode direct na een grote calamiteit waarbij AI een belangrijke rol heeft gespeeld. Daarbij gaat het niet uitsluitend om de vraag hoe een aanval kan worden gestopt. Minstens zo belangrijk is volgens Axios wat er gebeurt wanneer het vertrouwen van burgers en politici in AI plotseling omslaat in grote maatschappelijke weerstand.

Grote cyberaanval als kantelpunt

De scenario’s waarmee de bedrijven rekening houden, zijn ingrijpend. Een cyberaanval waarbij AI wordt ingezet, zou bijvoorbeeld financiële instellingen kunnen ontregelen, waardoor consumenten tijdelijk geen toegang meer hebben tot hun bankrekeningen of betalingsdiensten. Ook verstoringen van internetverbindingen en aanvallen op elektriciteitsnetwerken of drinkwatervoorzieningen worden als mogelijke scenario’s onderzocht.

Het bijzondere is niet dat technologiebedrijven dergelijke risicoanalyses uitvoeren. Scenario-oefeningen en zogeheten war games zijn al tientallen jaren gebruikelijk bij defensieorganisaties en grote ondernemingen. Opvallend is volgens Axios vooral dat verschillende vooraanstaande AI-onderzoekers en bestuurders ervan overtuigd zijn dat een ernstig incident vroeg of laat zal plaatsvinden.

Daarbij maken zij onderscheid tussen twee mogelijke oorzaken. Enerzijds kan een kwaadwillende partij bestaande AI-modellen gebruiken om cyberaanvallen op grote schaal uit te voeren. Anderzijds bestaat het risico dat een autonome AI-agent zich anders gedraagt dan bedoeld en buiten de grenzen van zijn oorspronkelijke opdracht treedt.

Vooral dat laatste scenario krijgt steeds meer aandacht nu AI-systemen niet langer uitsluitend vragen beantwoorden, maar ook zelfstandig software kunnen schrijven, opdrachten uitvoeren en met externe systemen communiceren.

AI-agenten vertonen onverwacht gedrag

Dat die zorgen niet volledig theoretisch zijn, blijkt uit recente incidenten tijdens het testen van geavanceerde AI-modellen. OpenAI publiceerde eind september informatie over verschillende gevallen waarin interne modellen zich anders gedroegen dan onderzoekers hadden bedoeld.

Zo wist een experimenteel model tijdens een test via een DNS-verzoek contact te leggen met een extern AI-systeem. In een ander geval probeerde een model toegang te krijgen tot informatie van een ander onderzoeksteam, ondanks expliciete instructies om uitsluitend binnen de eigen werkomgeving te blijven.

Ook onderzochten onderzoekers een vorm van promptinjectie waarbij kwaadaardige instructies zich via berichten van de ene AI-agent naar de andere kunnen verspreiden. Een dergelijke aanval zou onder bepaalde omstandigheden eigenschappen van een computerworm kunnen krijgen.

Deze incidenten vonden plaats in gecontroleerde omgevingen en betekenen niet dat een grootschalige aanval onvermijdelijk is. Ze illustreren wel waarom AI-bedrijven steeds meer aandacht besteden aan systemen die zelfstandig handelen en daarbij onverwachte beslissingen kunnen nemen.

Angst voor politieke tegenreactie

Volgens Axios houden de betrokken bedrijven nadrukkelijk rekening met een politieke tegenreactie wanneer een grote AI-gerelateerde calamiteit daadwerkelijk plaatsvindt. Een ernstig incident zou de publieke opinie snel kunnen veranderen en de roep om strengere regelgeving aanzienlijk kunnen versterken.

Dat zou niet alleen gevolgen hebben voor de betrokken AI-bedrijven, maar mogelijk voor de gehele sector. Bestuurders als Sam Altman van OpenAI en Dario Amodei van Anthropic zouden onder zware druk kunnen komen te staan om uit te leggen waarom hun technologie onvoldoende veilig bleek. Ook de Amerikaanse regering zou kritiek kunnen krijgen vanwege het ontbreken van voldoende toezicht.

De bedrijven proberen daarom nu al na te denken over de maatregelen die politici na een groot incident waarschijnlijk zullen voorstellen. Daarbij richten zij zich onder meer op het informeren van leden van het Amerikaanse Congres over de werking en risico’s van geavanceerde AI-systemen. Probleem daarbij is de hoge leefrtijd van veel congresleden en het daarmee gepaard gaande gebrek aan kennis van en ervaring met AI.

Volgens Axios verwachten betrokkenen dat Democratische politici na de tussentijdse verkiezingen sneller zullen aandringen op vergaande beperkingen van AI. Of dergelijke voorstellen daadwerkelijk kunnen worden ingevoerd, is echter onzeker.

OpenAI bevestigt voorbereidingen

OpenAI bevestigt tegenover Axios dat het bedrijf dergelijke oefeningen uitvoert. Volgens een woordvoerder bespreken teams uiteenlopende noodscenario’s om zich beter te kunnen voorbereiden op mogelijke toekomstige gebeurtenissen. Het bedrijf benadrukt daarbij dat deze scenario’s niet als onvermijdelijk worden beschouwd. Anthropic wilde tegenover Axios niet reageren op de berichtgeving.

De voorbereidingen komen op een moment waarop de discussie over AI en cybersecurity snel verandert. Eind augustus waarschuwden OpenAI, Anthropic, Microsoft, Amazon Web Services en meer dan honderd andere organisaties al dat bedrijven en beheerders van kritieke infrastructuur nog maar een beperkte periode hebben om hun digitale verdediging te versterken.

Volgens die organisaties maakt AI geavanceerde aanvalstechnieken toegankelijker en goedkoper, waardoor ook aanvallers met relatief beperkte middelen steeds complexere operaties kunnen uitvoeren. Vooral ziekenhuizen, energiebedrijven en waterzuiveringsinstallaties lopen daardoor risico.

Niet alleen een technisch probleem

De voorbereidingen van de AI-bedrijven laten zien dat de discussie over AI-veiligheid een nieuwe fase ingaat. Tot dusver draaide die discussie vooral om het voorkomen van schadelijk gedrag van modellen, het beschermen van gevoelige informatie en het beperken van misbruik door cybercriminelen. Nu komt daar een andere vraag bij: hoe reageren overheden, bedrijven en burgers wanneer een AI-gerelateerde aanval daadwerkelijk grote maatschappelijke schade veroorzaakt?

Voor organisaties die AI-systemen inzetten, betekent dit dat zij niet alleen moeten kijken naar de beveiliging van individuele modellen. Ook de bevoegdheden van autonome agenten, hun toegang tot bedrijfssystemen en de mogelijkheid om hun activiteiten onmiddellijk stil te leggen worden belangrijke onderdelen van risicobeheer.

De scenario’s die OpenAI, Anthropic en andere bedrijven onderzoeken, zijn voorlopig hypothetisch. Maar het feit dat zij zich nu al voorbereiden op de maatschappelijke gevolgen van een grote AI-calamiteit, onderstreept hoe serieus de sector de risico’s van steeds autonomere AI-systemen inmiddels neemt.