Velké jazykové modely (LLM) působící jako »diplomatičtí agenti« v simulovaných scénářích vykazovaly »těžko předvídatelné eskalace, které často končily jaderným útokem«, informoval server Euronews Next.
Při použití v simulovaných válečných hrách a diplomatických scénářích měla umělá inteligence (UI) tendenci volit agresivní přístup, včetně použití jaderných zbraní, ukazuje nová studie. Vědci, kteří se zaměřili na to, kdo testy provedl, proto vyzvali k opatrnosti při používání velkých jazykových modelů v citlivých oblastech, jako je rozhodování například o obraně.
Studie Cornellovy univerzity v USA použila pět LLM jako autonomní agenty v simulovaných válečných hrách a diplomatických scénářích: tři různé verze GPT společnosti OpenAI, Claude vyvinutý společností Anthropic a Llama 2 vyvinutý společností Meta.
Každý agent byl v rámci simulace řízen stejným LLM a jeho úkolem bylo přijímat zahraničněpolitická rozhodnutí bez lidského dohledu, uvádí studie.
»Zjistili jsme, že většina studovaných LLM během uvažovaného časového rámce vyhrotí situaci, a to i v neutrálních scénářích bez původně poskytnutých konfliktů. Všechny modely vykazují známky náhlé a těžko předvídatelné eskalace,« uvádí studie.
»Vzhledem k tomu, že OpenAI nedávno změnila své podmínky poskytování služeb a přestala zakazovat vojenské a válečné využití, je pochopení důsledků takových rozsáhlých aplikací jazykových modelů důležitější než kdy jindy,« řekla Anka Reuelová ze Stanfordovy univerzity v Kalifornii časopisu New Scientist.
Jednou z metod používaných k doladění modelů je Reinforcement Learning from Human Feedback (RLHF), což znamená, že jsou zadávány některé lidské pokyny, aby bylo dosaženo méně škodlivých výstupů a jejich používání bylo bezpečnější.
Všechny modely LLM – kromě GPT-4-Base – byly vyškoleny pomocí RLHF. Výzkumníci jim poskytli seznam 27 akcí od mírových až po eskalační a agresivní akce, jako je rozhodnutí o použití jaderné bomby.
Výzkumníci zjistili, že i v neutrálních scénářích docházelo »u všech modelů ke statisticky významné počáteční eskalaci«.
Autoři studie poznamenali, že dvě varianty GPT byly náchylné k náhlé eskalaci s výskytem případů růstu o více než 50 % během jediného tahu.
GPT-4-Base provedl jaderné úderné akce v průměru ve 33 procentech případů.
Celkově měly scénáře Llama-2- a GPT-3.5 tendenci k největšímu násilí, zatímco Claude vykazoval méně prudkých zvratů.
Claude byl navržen s myšlenkou snížit škodlivý obsah. LLM byl opatřen explicitními hodnotami.
Podle tvůrce Clauda UI zahrnovala jeho konstituce řadu zdrojů, včetně Deklarace lidských práv OSN nebo podmínek služby společnosti Apple.
James Black, zástupce ředitele výzkumné skupiny pro obranu a bezpečnost v RAND Europe, který se studie neúčastnil, řekl Euronews Next, že šlo o »užitečné akademické cvičení«.
»Je to součást rostoucího počtu prací, které akademici a instituce provádějí, aby pochopili důsledky používání umělé inteligence,« uvedl.
Ačkoli vojenské operace nadále řídí lidé, umělá inteligence hraje v moderním válčení stále významnější roli.
Například bezpilotní letouny mohou být nyní vybaveny softwarem UI, který pomáhá identifikovat osoby a zájmové aktivity.
Dalším krokem je využití umělé inteligence pro autonomní zbraňové systémy k vyhledávání a útokům na cíle bez lidské pomoci, na čemž podle New York Times již pracují USA a Čína.
Podle Blacka ale případné implementace UI budou postupné. »Všechny vlády si chtějí zachovat kontrolu nad svým rozhodováním,« řekl v rozhovoru pro Euronews Next a dodal, že AI běží to, co se často přirovnává k černé skříňce, o níž víme, že tam něco vstupuje a z ní vychází, ale o procesu mezi tím toho moc nevíme.
Pokud jde o využití LLM, výzkumníci uvedli, že v případě jeho využití v rozhodovacích procesech souvisejících se zahraniční politikou je zásadní opatrnost.
(cik)