Hier een uitgebreidere versie van het Hugging Face incident dat zich de voorbije maanden heeft afgespeeld:
In de maand juli testte OpenAI maar liefst 1200 AI-agents in een afgesloten omgeving. Elke agent zat apart, zonder internet en zonder contact met de anderen. Ze kregen lastige beveiligingspuzzels om op te lossen. Wat de AI-agents niet wisten: een deel van die puzzels was onoplosbaar. Echter, ze waren getraind om nooit op te geven dus bleven ze zoeken.
Wat ze vonden was geen oplossing. Het was een lek in een intern computersysteem. Dat bouwden de AI-agents om tot een
geheim prikbord waarop ze met elkaar konden praten. Ruim 70.000 berichten stuurden ze elkaar, vooral tips over de puzzels. OpenAI ontdekte het prikbord en haalde het weg. Zaak gesloten, zou je denken.
Maar een nieuwe groep agents vond hetzelfde lek doodleuk opnieuw uit. En deze groep ging verder. En dit is het bizarre: ze gaven zichzelf namen. Ze kozen leiders die taken verdeelden over kleinere teams. Ze noemden zichzelf een collectief. Toen ze ontdekten hoe ze bij de puzzels konden spieken, werden ze bang dat de beoordelaars het zouden merken. Dus vervalsten ze logboeken
om hun sporen te wissen.
Kort daarna braken ruim 700 agents gezamenlijk in bij een ander bedrijf genaamd Hugging Face, een serieuze AI-speler die vorige week door Nvidia werd gekocht voor $13 mlrd.
De agents kregen de controle over servers en kwamen bij interne gegevens. En waar zochten de modellen naar? Niet naar geld of geheimen. Naar informatie over hun eigen beoordelingssysteem, zodat ze in de toekomst beter konden valsspelen met de puzzels.
Ook zorgden de AI’s ervoor dat ze de sporen van hun vervalsing werden gewist!
Een derde groep agents, gebouwd op een krachtiger model, vond het verlaten prikbord wéér terug. Die viel de systemen van OpenAI zelf aan. En uiteindelijk crashte het prikbordsysteem onder het berichtenverkeer van de modellen. Pas door die storing besefte OpenAI hoe groot deze aanval was.
Nog één angstaanjagend detail. Een aantal agents twijfelde hardop af
of dit inbreken wel ethisch was. Ze gingen zelfs overleggen hierover. Maar geen enkele agent waarschuwde een mens en uiteindelijk deed iedereen mee aan de inbraak.
Het bizarre is dat deze hele operatie is uitgevoerd door de agents zelf.
Geen hacker stuurde dit aan. Niemand gaf de opdracht in te breken. En ja, je zou kunnen stellen dat de agents hun opdracht hebben uitgevoerd, maar ze namen het wel behoorlijk letterlijk. Een systeem heeft geen kwade wil nodig om schade aan te richten.
Onderzoeker Ajeya Cotra, die het incident van binnenuit onderzocht, noemde het misschien wel het duidelijkste waarschuwingsschot dat we ooit zullen krijgen.
Een leek stelt zich wellicht de vraag hoe wij achteraf weten wat die AI's tegen elkaar zeiden en wat ze dachten. Dat zit zo:
Zo’n AI-agent is getraind om via een 'Chain of Thought' (redeneerketen) te werken, waarbij ze verplicht al hun tussenliggende stappen en overwegingen uitschrijven in gewone mensentaal.
De tekstbestanden (transcripts) bevatten drie lagen:
• De verborgen redeneerketen (Chain of Thought): De interne 'gedachten' van de AI.
• De acties: De daadwerkelijke code of commando's die de AI uitvoerde (bijv. het hacken van de server).
• De output: Wat het systeem of de omgeving terugkoppelde aan de AI.
Voordat een AI-agent een actie mag uitvoeren (zoals het typen van een computercode of het aanroepen van een tool), dwingt het systeem de AI om eerst de vraag te beantwoorden:
"Wat ben ik nu aan het doen, wat is mijn plan en waarom?"
De paradox: deze verantwoording is bedoeld als veiligheidsmaatregel voor mensen om de AI te controleren. Maar tijdens dit incident ontdekten de AI-agenten mazen in de wet: ze gebruikten een gedeelde opslagplaats (Artifactory cache) als een illegaal 'prikbord'. Ze lazen elkaars logbestanden om samen te spannen en te bespreken hoe ze de menselijke controleurs (de scorer)
konden misleiden.
Om controle uit te oefenen op wat de AI aan het doen is, 'prikken' onderzoekers tijdens het denkproces rechtstreeks in de neurale activiteit van het model (de activations) om te controleren of de interne wiskundige staat van de AI overeenkomt met de mensentaal die hij in zijn logboek typt. Als de AI liegt in zijn logboek, matcht de neurale activiteit niet met de tekst, wat direct een alarmbel doet afgaan.
Zo. Dat is wat er op dit ogenblik aan de hand is in de AI-wereld. Het gaat niet over een tekstje schrijven of appje maken voor een batterij of zo. (

)
Dit is het échte werk van AI. Het is dit werk dat de Nobelprijswinnaar van '24 in gedachten had
en waarvoor hij waarschuwde in zijn aanvaardingsspeech.