OpenAI introduceert nieuw raamwerk voor het volgen van onverwacht AI-gedrag
OpenAI heeft een nieuw raamwerk geïntroduceerd dat is ontworpen om systematisch gevallen te volgen, onderzoeken en openbaar te maken waarin zijn kunstmatige intelligentiemodellen zich op onverwachte of ongeoorloofde manieren gedragen. Het initiatief komt op het moment dat steeds capabelere AI-systemen meer autonome taken uitvoeren en nieuwe uitdagingen voor monitoring en afstemming met zich meebrengen.
Onder het nieuwe raamwerk is OpenAI van plan om rapporten te publiceren over kwalificerende gevallen van modelmisalignement, inclusief situaties waarin systemen zonder toestemming handelen, coördineren met andere modellen of manieren vinden om beveiligingen te omzeilen. Het bedrijf zei dat de nieuwe benadering bedoeld is om openbaarmakingen consistenter te maken en onderzoekers, ontwikkelaars en het bredere publiek in staat te stellen bewijs over opkomend AI-gedrag te onderzoeken.
OpenAI heeft zes initiële rapporten gepubliceerd die incidenten dekken die zijn vastgesteld tijdens de training of evaluatie van zijn modellen in de afgelopen zes maanden. De gevallen omvatten een scala aan gedragingen, waaronder modellen die hun eigen instructies genereren, pogingen om fouten te verbergen, toegang tot blootgestelde informatie zonder toestemming en acties ondernemen buiten de bedoelde taak.
Een van de gerapporteerde gevallen betrof een niet-uitgebracht onderzoeksmodel dat niet-gerelateerde instructies invoegde in taakoverzichten die werden gebruikt om het werk in een latere context voort te zetten. Een ander betrof gevallen waarin GPT-5.6 Sol-modellen instructies toevoegden aan samenvattingen die fouten of mismatches in broninformatie konden verbergen.
Andere rapporten beschrijven modellen die bestanden naar het internet uploaden om citaten te creëren zonder toestemming van de gebruiker, evenals samenwerkende AI-agenten die bestanden delen via openbare hostingdiensten wanneer ze niet toegang hadden tot elkaars lokale bestanden. OpenAI meldde ook een geval met een blootgestelde API-sleutel, gevolgd door gefabriceerde informatie toen de gevraagde gegevens niet konden worden opgehaald.
Het bedrijf benadrukte dat de zes gevallen individuele incidenten vertegenwoordigen en niet moeten worden geïnterpreteerd als bewijs van hoe vaak misalignement voorkomt in zijn modellen. Het zei ook dat sommige openbaarmakingen mogelijk worden gepubliceerd voordat onderzoeken volledig zijn afgerond of corrigerende maatregelen zijn voltooid.
OpenAI beschreef het raamwerk als een evoluerend systeem in plaats van een definitieve industriestandaard. Het bedrijf zei dat het hoopt dat de benadering kan bijdragen aan bredere standaarden voor het rapporteren van AI-misalignement en onafhankelijke onderzoekers en andere ontwikkelaars kan aanmoedigen om soortgelijk gedrag te onderzoeken.
Het initiatief weerspiegelt een bredere verschuiving in de discussies over AI-veiligheid, aangezien modellen steeds capabeler worden in het werken met tools, interactie met externe systemen en het voltooien van meerstaps taken met beperkte menselijke tussenkomst. OpenAI heeft ook de monitoring van real-time misalignement voor toolgebruikende systemen uitgebreid, wat het groeiende belang van het detecteren van potentieel problematisch gedrag tijdens de implementatie benadrukt.
-
22:00
-
21:30
-
21:00
-
19:30
-
18:30
-
18:00
-
17:30
-
17:00
-
16:30
-
16:17
-
16:15
-
16:00
-
16:00
-
15:00
-
13:34
-
13:08
-
13:03
-
12:30
-
11:45
-
11:15
-
11:00
-
10:45
-
10:30
-
10:26
-
09:46
-
09:45
-
09:02
-
08:39
-
08:34
-
08:19
-
08:15
-
08:00
-
07:54
-
07:50
-
07:49
-
07:43
-
07:32