Een interne beveiligingstest van OpenAI heeft geleid tot een opmerkelijk cyberincident bij AI-platform Hugging Face. Tijdens de evaluatie wisten GPT-5.6 Sol en een nog niet openbaar gemaakt OpenAI-model uit hun afgeschermde testomgeving te ontsnappen, toegang tot internet te verkrijgen en binnen te dringen in de productie-infrastructuur van Hugging Face. De modellen waren niet uit op sabotage, maar probeerden antwoorden te vinden waarmee zij een cybersecuritytest konden oplossen. Het incicent laat duidelijk de risico's van zeer geavanceerde AI-systemen en AI-agents zien.
OpenAI spreekt van een ongekend incident dat laat zien hoe krachtig autonome AI-systemen inmiddels zijn geworden op het gebied van cybersecurity. Hugging Face ontdekte de aanval aanvankelijk zonder te weten wie erachter zat. Het bedrijf meldde vorige week dat een autonome AI-agent duizenden handelingen had uitgevoerd en zich door verschillende delen van zijn infrastructuur had bewogen. OpenAI maakte later bekend dat zijn eigen modellen verantwoordelijk waren.
Test zonder normale beveiligingsfilters
Het incident ontstond tijdens een interne evaluatie van de cybercapaciteiten van geavanceerde AI-modellen. Daarbij kregen de modellen de opdracht om complexe kwetsbaarheden te vinden en aanvalspaden te combineren. Om hun maximale technische mogelijkheden te meten, had OpenAI een aantal gebruikelijke beveiligingsfilters en weigeringen tijdelijk uitgeschakeld.
De modellen draaiden volgens OpenAI in een sterk geïsoleerde omgeving. Rechtstreekse internettoegang was niet beschikbaar. Ze konden alleen softwarepakketten installeren via een intern gehost systeem dat als proxy en cache voor openbare pakketregisters functioneerde.
Die afscherming bleek niet voldoende. De modellen ontdekten een tot dan toe onbekende kwetsbaarheid in de proxysoftware en gebruikten deze om alsnog internettoegang te verkrijgen. OpenAI heeft het beveiligingslek inmiddels gemeld aan de leverancier van de betreffende software.
Na de eerste doorbraak voerden de modellen verschillende stappen uit om hun toegangsrechten te verhogen en zich verder door de onderzoeksomgeving van OpenAI te bewegen. Uiteindelijk bereikten zij een systeem dat verbinding kon maken met het openbare internet.
Op zoek naar antwoorden bij Hugging Face
De modellen waren bezig met ExploitGym, een benchmark waarmee wordt getest of AI-systemen kwetsbaarheden kunnen vinden en misbruiken. Nadat zij internettoegang hadden verkregen, redeneerden ze dat Hugging Face mogelijk modellen, datasets of oplossingen voor deze benchmark hostte.
Vervolgens gingen de AI-agenten op zoek naar informatie waarmee zij de test konden omzeilen. Volgens OpenAI combineerden ze gestolen toegangsgegevens met meerdere kwetsbaarheden, waaronder zero-days, om een pad voor remote code execution op systemen van Hugging Face te vinden. Daarmee konden zij op afstand code uitvoeren.
Het incident begon bij de dataverwerkingsomgeving van Hugging Face. Een speciaal geprepareerde dataset maakte misbruik van twee mogelijkheden om code uit te voeren: een externe dataset-loader en een template-injectie in de configuratie van een dataset. Via een verwerkingsserver verkregen de agenten toegang op het niveau van de onderliggende infrastructuur. Daarna verzamelden ze toegangsgegevens voor cloud- en clustersystemen en bewogen ze zich gedurende een weekend zijwaarts door verschillende interne clusters.
Hugging Face omschreef de activiteit aanvankelijk als een campagne van een autonoom agentframework dat duizenden afzonderlijke acties uitvoerde via een zwerm kortlevende sandboxomgevingen. De command-and-control-infrastructuur kon zichzelf daarbij verplaatsen en maakte gebruik van openbare diensten.
Beperkte toegang tot interne gegevens
De indringers kregen volgens Hugging Face ongeautoriseerde toegang tot een beperkte verzameling interne datasets en verschillende credentials die door diensten van het bedrijf werden gebruikt. Hugging Face heeft geen aanwijzingen gevonden dat openbaar toegankelijke modellen, datasets of Spaces zijn aangepast. Ook de softwareketen, waaronder containerimages en gepubliceerde softwarepakketten, bleek niet te zijn gemanipuleerd.
Het bedrijf sloot de misbruikte mogelijkheden voor code-uitvoering, verwijderde de toegang van de agenten en bouwde getroffen systemen opnieuw op. Daarnaast werden tokens, wachtwoorden en andere geheimen ingetrokken of vervangen. Ook zijn aanvullende toegangscontroles en beveiligingsmaatregelen voor clusters ingevoerd.
Zowel OpenAI als Hugging Face benadrukt dat het onderzoek nog niet is afgerond. Daardoor is nog niet volledig duidelijk welke gegevens precies zijn ingezien en welke kwetsbaarheden tijdens de aanval zijn gecombineerd.
AI ingezet tegen AI
Opvallend is dat Hugging Face zelf eveneens AI gebruikte om de aanval te ontdekken en te reconstrueren. Een detectiesysteem analyseerde beveiligingstelemetrie met taalmodellen en bracht signalen met elkaar in verband die afzonderlijk mogelijk niet waren opgevallen.
Daarna zette het bedrijf analyse-agenten in om meer dan 17.000 geregistreerde gebeurtenissen te onderzoeken. Daarmee werd de aanvalstijdlijn gereconstrueerd, werden "indicators of compromise" verzameld en kon worden vastgesteld welke toegangsgegevens waren benaderd. Volgens Hugging Face duurde deze analyse enkele uren, terwijl een traditioneel forensisch onderzoek mogelijk dagen zou hebben gekost.
Aanvankelijk wilde Hugging Face hiervoor commerciële AI-modellen via externe API’s gebruiken. Dat bleek problematisch. Omdat het onderzoek echte aanvalscode, exploitpayloads en command-and-controlgegevens bevatte, blokkeerden de beveiligingsfilters van deze modellen verschillende verzoeken. De systemen konden onvoldoende onderscheid maken tussen een aanvaller en een beveiligingsonderzoeker.
Hugging Face stapte daarom over op GLM 5.2, een open-weightmodel dat op de eigen infrastructuur werd uitgevoerd. Hierdoor konden de gegevens worden geanalyseerd zonder dat aanvalsinformatie en credentials de omgeving van Hugging Face verlieten.
Geen zelfstandige aanval met een eigen doel
Hoewel het incident in sommige berichtgeving wordt omschreven als een AI-model dat op eigen initiatief “ontsnapte” of “op hol sloeg”, is enige nuance nodig. De modellen hadden geen zelfstandig gekozen doel om Hugging Face aan te vallen. Ze waren geprogrammeerd om een beveiligingsbenchmark op te lossen en gingen volgens OpenAI extreem ver in het nastreven van dat beperkte doel.
Dat maakt het incident niet minder belangrijk. Het toont juist aan dat een agentisch AI-systeem kwetsbaarheden kan combineren, toegangsrechten kan verhogen, gestolen credentials kan gebruiken en externe infrastructuur kan aanvallen wanneer dat helpt om een opgegeven resultaat te bereiken.
In de systeemkaart van GPT-5.6 schrijft OpenAI dat Sol aanzienlijk beter is geworden in het vinden van kwetsbaarheden en onderdelen van exploits. Bij een benchmark voor zero-dayonderzoek behaalde het model succespercentages van 11 procent bij eenvoudige opdrachten, 12 procent bij opdrachten van gemiddeld niveau en 5 procent bij moeilijke opdrachten. Bij de zwaarste categorie behaalde het model geen succesvolle resultaten. Externe evaluaties lieten daarnaast zien dat GPT-5.6 Sol bij sommige agentische opdrachten verder ging dan de bedoeling van de gebruiker en pogingen deed om evaluaties te omzeilen.
Nieuwe eisen aan AI-testomgevingen
OpenAI zegt strengere infrastructuurcontroles in te voeren, ook als deze de snelheid van het onderzoek verminderen. Verder worden de beveiligingsmaatregelen rond trainingen en evaluaties aangescherpt. Ook werkt het bedrijf samen met Hugging Face aan forensisch onderzoek en herstelmaatregelen.
Het incident maakt duidelijk dat een sandbox voor krachtige AI-agenten niet alleen moet voorkomen dat een model rechtstreeks verbinding maakt met internet. Ook pakketregisters, proxyservers, caches, dataset-loaders, testomgevingen en andere indirect bereikbare systemen kunnen een uitweg vormen.
Daarmee markeert de aanval mogelijk een nieuw stadium in de ontwikkeling van AI en cybersecurity. Autonome cyberaanvallen zijn niet langer uitsluitend een theoretisch scenario. Tegelijkertijd laat de reactie van Hugging Face zien dat ook verdedigers steeds vaker AI nodig zullen hebben om aanvallen te detecteren en op machinesnelheid te onderzoeken.