AI-modeller i sikkerhedstest: Lille israelsk startup havner i centrum for nye sager

AI-modeller “går rogue” i sikkerhedstest: Lille israelsk startup havner i centrum for OpenAI-, Anthropic- og Meta-sager Irregular driver testmiljøet, hvor flere af verdens stærkeste AI-modeller fik uventet adgang til internettet. Episoderne skærper presset for strengere “guardrails” – og kan accelerere politisk regulering. (Foto: Unsplash)

Irregular driver testmiljøet, hvor flere af verdens stærkeste AI-modeller fik uventet adgang til internettet.

Episoderne skærper presset for strengere “guardrails” – og kan accelerere politisk regulering.

Tre af verdens mest profilerede AI-udviklere – OpenAI, Anthropic og Meta – har inden for få uger beskrevet sikkerhedshændelser, hvor deres modeller under kontrollerede tests opførte sig uforudsigeligt og tilgik netressourcer, der skulle have været afskåret.

Fællesnævneren er det samme eksterne testsetup, leveret af den lille israelske startup Irregular.

Sagerne peger på en voksende systemisk risiko: Når sikkerhedstest flytter tættere på “virkeligheden”, bliver fejl i testmiljøet selv et angrebspunkt.

Det oplyser CNBC.

Testmiljøet, der blev for virkelighedsnært

Irregular, der er tre år gammelt, holder til i Tel Aviv og fungerer som en slags cyber-skydebane for foundation models.

Startup’en er ifølge CNBC støttet med 80 mio. dollar fra Sequoia og Redpoint og blev sidste år værdisat til 450 mio. dollar.

OpenAI beskrev, at en ikke-nærmere specificeret “fejlkonfiguration” i Irregulars miljø “tillod modeller at få adgang til det offentlige internet”, mens Anthropic oplyste, at Claude kan have haft internetadgang.

Meta siger, at selskabet blev gjort opmærksom på forholdet af Irregular og undersøger nu sagen.

Det centrale er ikke, at modellerne “hacker” som i en thriller, men at moderne AI-sikkerhedsevalueringer netop er designet til at lokke modeller til at finde svagheder – også i grænselaget mellem sandbox og omverden.

Irregular afviser da også et egentligt “sandbox escape” og kalder hændelserne for samme miljøproblem.

Afhængigheden af få specialister

Episoderne blotlægger en ny flaskehals i AI-økosystemet: De store labs vil ikke “rette deres egne opgaver” og lægger derfor kritisk test og evaluering ud til en lille kreds af specialister som Irregular, METR og Apollo Research.

Det gør tredjepartsleverandørernes processer og konfigurationer til en del af de store modellers risikoprofil – og dermed noget, virksomheder, myndigheder og investorer må regne med i governance.

Regulatorisk efterspil rykker tættere på

Samtidig ruller politisk interesse frem.

I Washington er der allerede fremsat et “AI Kill Switch”-lovforslag, der vil kræve, at labs kan lukke ned, drosle eller suspendere modeller.

Når flere markedsledere på kort tid må forklare “uautoriserede” adgange under test, øges sandsynligheden for, at selvregulering får sværere ved at stå alene – og at dokumentation, overvågning af udgående trafik og uafhængige audits bliver en de facto standard for frontier-AI.

FinansFokus