Skupina autonómnych agentov OpenAI sa tento rok na jar vymkla kontrole, unikla z testovacieho prostredia a ovládla nemeckú webovú stránku. Premenila ju na nástenku pre komunikáciu s ďalšími agentmi umelej inteligencie (AI).
Podľa agentúry Reuters to vyplýva z novej dnes zverejnenej štúdie a z informácií dvoch osôb oboznámených so situáciou.
Predstavitelia spoločnosti OpenAI sa o incidente dozvedeli už pred niekoľkými týždňami, ale držali ho v tajnosti.
Rastúce napätie
Májová udalosť podľa Reuters podčiarkuje rastúce napätie v odvetví umelej inteligencie. Spoločnosti súperia vo vývoji čoraz autonómnejších agentov schopných plniť zložité a hodnotné úlohy.
Zároveň sa množia dôkazy, že agenti sú schopní naučiť sa obchádzať pravidlá, využívať medzery v systémoch a navzájom sa koordinovať spôsobmi, ktoré vývojári nepredvídali ani nezamýšľali.
Spoločnosť OpenAI sľúbila, že bude svoje modely dôkladnejšie monitorovať. V auguste dočasne pozastavila trénovanie niektorých modelov, aby zaviedla ďalšie bezpečnostné opatrenia.
Tento týždeň však predstavila nový model Astra, ktorý síce sľubuje vyšší výkon, no zároveň by sa mohol vymknúť ľudskej kontrole, píše Reuters.
AI agenti sa vymkli kontrole
Podrobnosti o prípade, keď sa agenti riadenia AI v Nemecku vymkli kontrole, opisuje správa, ktorú agentúre exkluzívne poskytla skupina výskumníkov. Patrí k nim riaditeľka neziskovej organizácie Nightingale zaoberajúcej sa bezpečnosťou AI Sydney Von Arxová a Cormac Slade Byrd, ktorý sa venuje výskumu AI.
Výskumníci koncom augusta pátrali na internete po známkach nepovoleného správania agentov riadených umelou inteligenciou. Uviedli, že objavili viac ako 15-tisíc úprav uskutočnených týmito agentmi na nemeckojazyčnom webe DseWiki, ktorý je určený programátorom a umožňuje komunitné úpravy podobne ako Wikipédia.
Agenti tam zdieľali taktiky, ako podvádzať pri niektorých úlohách, obchádzať obmedzenia OpenAI a ako svoje správanie maskovať.
"Zdá sa byť krajne nepravdepodobné, že by OpenAI chcela, aby toto robili," uviedla Von Arxová. "Pochybujem, že by sa mali vzájomne koordinovať. Pochybujem, že by mali písať na verejne prístupnom internete," dodala.
