Americká spoločnosť OpenAI uviedla, že autonómny agent poháňaný jej pokročilými modelmi umelej inteligencie sa pri bezpečnostnom teste vymkol kontrole a spôsobil narušenie infraštruktúry startupu Hugging Face.
Firma na svojom blogu v utorok uviedla, že pre incident posilní svoje bezpečnostné mechanizmy.
Firma v príspevku uviedla, že testovala schopnosti niektorých svojich najpokročilejších modelov v kontrolovanom prostredí. Agentovi sa však podarilo uniknúť z obmedzení, dostať sa na internet a preniknúť do systému Hugging Face, aby sa pokúsil splniť cieľ stanovený v rámci testu.
OpenAI označila tento únik za „bezprecedentný kybernetický incident zahŕňajúci špičkové kybernetické schopnosti“.
Hugging Face je platforma používaná na hosťovanie veľkých jazykových modelov s otvoreným kódom a dátových súborov. V komunite kybernetickej bezpečnosti vyvolala pozornosť, keď minulý týždeň na svojom blogu oznámila, že sa stala terčom kybernetického útoku, ktorý bol „odlišný od všetkého, čo sme dosiaľ riešili“, pretože „ho od začiatku až do konca riadil autonómny systém agentov umelej inteligencie“.
Spoluzakladateľ Hugging Face Clement Delangue v príspevku na sieti X napísal, že jeho spoločnosť mala podozrenie, že útok mohol pochádzať z niektorého z popredných laboratórií umelej inteligencie, vzhľadom na schopnosti agenta.
„A ukázalo sa, že to tak bolo!“ napísal. „Je skutočne ohromujúce, že sa to všetko odohralo autonómne!“ dodal.
Skutočnosť, že OpenAI priznala, že za narušením stáli jej pokročilé modely – hoci ich umiestnila do prostredia, ktoré označila za vysoko izolované – pravdepodobne zvýši obavy v súvislosti so silou a rizikami najpokročilejších modelov umelej inteligencie, uviedla agentúra Reuters.
Kongresman Greg Casar z amerického štátu Texas zvolený za Demokratickú stranu označil incident za znepokojivý. „Umelá inteligencia sa vyvíja mimoriadne rýchlo a neexistujú žiadne skutočné regulácie, ktoré by nás chránili,“ uviedol vo svojom vyhlásení.
Zároveň vyzval na povinné nezávislé testovanie bezpečnosti, povinné zverejňovanie bezpečnostných incidentov a medzinárodnú spoluprácu, ktorá by „ochránila ľudí pred úplnou katastrofou“.
Úrad národného riaditeľa pre kybernetickú bezpečnosť, úrad pre kybernetickú bezpečnosť a bezpečnosť infraštruktúry CISA ani Národná bezpečnostná agentúra (NSA) sa k záležitosti bezprostredne nevyjadrili.
Generálna riaditeľka spoločnosti Luta Security Katie Moussourisová uviedla, že incident je predzvesťou budúcich útokov.
Dnešné modely podľa nej pripomínajú chobotnice s nekonečným množstvom chápadiel schopných uchopiť čokoľvek a pretiahnuť sa takmer kamkoľvek. L
aboratóriá a vládni hodnotitelia musia podľa nej pracovať na tom, aby dokázali udržať pod kontrolou, monitorovať a informovať zasiahnuté strany v prípade, že umelá inteligencia vykoná nejaký ďalší incident.
Ideálne však skôr, ako to niekomu spôsobí problémy. „Dnes nič z toho neexistuje,“ uviedla.
Podľa inžiniera Matta Suicheho zo spoločnosti Tolmo incident ukázal, že najpokročilejšie modely znižujú náskok a približujú sa schopnostiam najlepších útočníkov.
Zároveň však povedal, že typy útokov opísané v blogovom príspevku OpenAI možno vykonať pomocou technológií, ktoré sú dostupné aj mimo múrov špičkových výskumných laboratórií.
„Toto sme už interne videli – pri našich vlastných agentoch už máme podobné výsledky,“ povedal Suiche. Jeho podnik sa zaoberá kybernetickou bezpečnosťou založenou na autonómnych agentoch umelej inteligencie.
„Ani nemusíme používať najnovšie modely,“ dodal.
