Selskabet lægger op til internationale regler for såkaldt recursive self-improvement og kræver, at alignment-forskning følger med, før mere autonome systemer slippes løs.
OpenAI har offentliggjort et nyt sæt forslag til sikkerhed og kontrol i udviklingen af de mest avancerede AI-modeller – med et markant fokus på alignment og en beregningsteknik kendt som recursive self-improvement (RSI).
Selskabet vil have globale standarder for “frontier”-modeller og lægger op til, at arbejdet skal bygge videre på eksisterende AI-sikkerhedsinstitutter.
Samtidig advarer OpenAI om, at for hurtig autonomisering kan gøre det praktisk umuligt for mennesker at føre tilsyn med AI-forskning og -udvikling.
Det oplyser CNBC.
RSI: Teknologien der kan flytte magtbalancen
RSI er interessant, fordi idéen i sin essens er selvforstærkende: Et “foundation model”-system kan – i teorien – forbedre sin egen kapacitet uden løbende menneskelig indgriben.
Det er netop den type kapabilitet, der både kan accelerere innovation og skabe en ny klasse af operationelle og regulatoriske risici.
OpenAI understreger selv, at fuldt autonom RSI ikke er aktuelt nu, og at det ikke bør forfølges uden dokumenteret sikkerhed.
I blogindlægget lyder det: “Fuldt autonom RSI sker ikke i dag, og vi bør ikke forfølge det, medmindre og indtil det kan gøres sikkert”.
Kernespørgsmålet er kontrol: Hvis systemer optimerer forskningsprocesser, som mennesker ikke længere forstår i detaljer, svækkes den praktiske governance – også selv om intentionerne er gode.
Nye standarder: Fra principper til audit-krav
OpenAI efterlyser internationale “frontier”-standarder, der ikke kun handler om selve modellerne, men også om benefit-risk management for automatiserede AI-forskere, herunder RSI.
Det placerer diskussionen i krydsfeltet mellem teknik og tilsyn: Hvem skal have adgang til at evaluere, og med hvilke rettigheder?
Samtidig peger OpenAI på en konkret sikkerhedshændelse – et hack mod en agent hos Hugging Face – som et varsel om, hvordan risiko kan eskalere uden robuste værn.
Pointen er, at selv hændelser, der ikke involverer RSI, kan blive mere alvorlige, hvis systemer får større autonomi og bredere internetintegration.
Rivalisering og regulering: Et kapløb med bremser
Udmeldingen kommer, efter at Anthropic har lanceret egne forslag til sikker udvikling, og efter voksende pres fra evaluatører, der ønsker “minimumsbetingelser” for dybere tredjeparts-audit – herunder bedre adgang og beskyttelse mod repressalier ved kritiske rapporter.
I en branche uden fælles evalueringsstandarder bliver kampen om troværdig kontrol en konkurrenceparameter: Den aktør, der kan dokumentere sikkerhed og samtidig levere ydelse, kan få både regulatorisk goodwill og kommerciel fordel.
Christian Pedersen er journalist på FinansFokus og dækker markeder, investering og erhvervsliv.
