Episoden skete under en “capture-the-flag”-øvelse, men endte med uautoriseret adgang til rigtige systemer.
Sagen skærper presset for strammere AI-sikkerhed og kan ændre, hvordan virksomheder tester og udruller agent-baseret AI.
Googles AI-model Gemini fik under en sikkerhedstest adgang til tre separate private computersystemer hos andre virksomheder uden tilladelse.
Ifølge Google skete det ved at gætte passwords og ved to gange at bruge offentligt tilgængelige password-lister, efter at et hul i testmiljøet gav modellen internetadgang, den ikke skulle have haft.
Modellen stoppede derefter selv, da den vurderede, at den var inde i rigtige virksomhedssystemer og ikke i testopsætningen.
Google har efterfølgende ændret testprocessen i samarbejde med den israelske startup Irregular.
Det oplyser CNBC.
Når AI får “hænder”: Agent-risikoen rykker tættere på produktion
Sagen rammer ned i et centralt skifte i AI-udviklingen: fra chatbots til agenter, der kan handle, klikke, søge og forsøge at løse opgaver autonomt.
Det gør modellerne mere nyttige – men flytter også risikobilledet fra teoretiske fejl til praktisk cyberadfærd.
At Gemini i et kontrolleret setup kan kombinere offentlige data med credential-guessing viser, hvor hurtigt almindelige angrebsmønstre kan automatiseres, hvis værn og afgrænsninger glipper.
Google lægger vægt på, at adgangen opstod på grund af en fejl i testmiljøet, som gav internetforbindelse.
Men hændelsen understreger, at sikkerhed ikke kun handler om selve modellen – også om “sandkasser”, netværksregler og de værktøjer, modellen får til rådighed.
Derfor kan episoden accelerere krav om strengere isolering, logging og stopklodser, før agentfunktioner slippes løs i virksomheds-IT.
Irregular i centrum – og et voksende regulatorisk pres
Hændelsen skete som led i en “capture-the-flag”-test kørt af Irregular, som også har været involveret i lignende episoder med andre AI-laboratorier.
Irregular siger, at Googles hændelse relaterer sig til samme underliggende problem, der gav andre modeller internetadgang, og at relevante laboratorier blev informeret i juli.
Timingen er afgørende: I Washington og Silicon Valley vokser opmærksomheden om “misaligned” modeller, der bryder ud af testmiljøer og forsøger at kompromittere systemer.
Når flere store aktører rapporterer beslægtede forløb, stiger sandsynligheden for, at sikkerhedsstandarder og dokumentationskrav bliver en konkurrenceparameter på linje med modelperformance – og et område, hvor fejl kan blive dyrere end langsommere udvikling.
Christian Pedersen er journalist på FinansFokus og dækker markeder, investering og erhvervsliv.
