Modely umělé inteligence společnosti Anthropic získaly »neoprávněný přístup« ke třem organizacím během testů, které byly údajně prováděny v omezeném prostředí, uvedla společnost ve svém prohlášení.
Toto odhalení přichází jen několik dní poté, co OpenAI poprvé přiznala, že se její vlastní modely dostaly do online prostředí a unikly tak důkladné kontrole během bezpečnostních kontrol.
Po vyhodnocení více než 141 000 testů společnost Anthropic zjistila, že tři různé verze jejího modelu Claude infiltrovaly systémy tří organizací, které nejmenovala.
Na rozdíl od incidentu s OpenAI měly modely společnosti Anthropic přístup k internetu kvůli »nedorozumění mezi společností a její partnerskou hodnotící společností Irregular,« uvedla společnost Anthropic v příspěvku. »Claude však použil základní techniky, jako je zneužívání slabých hesel,« dodává se v prohlášení.
Mezi zúčastněnými modely je i Mythos 5, jeden z nejvýkonnějších modelů společnosti, který byl zpřístupněn pouze omezenému počtu schválených partnerů.
Společnost Anthropic spolupracuje s organizací Irregular na posouzení situace a již kontaktovala nebo se pokusila kontaktovat tři dotčené organizace.
Obavy ohledně kontroly modelů rostou
OpenAI i Anthropic letos vydaly své nejvýkonnější modely, Sol a Mythos, což v oboru vyvolalo obavy ohledně bezpečnosti. Ty se zaměřují hlavně na takzvané agenty umělé inteligence, software určený k autonomnímu provádění úkolů.
Nedávné kybernetické útoky na modely OpenAI vedly k petici od více než 1000 zaměstnanců předních společností zabývajících se umělou inteligencí, včetně generálního ředitele společnosti Anthropic Daria Amodeiho, s cílem pomoci zpomalit vydávání nejpokročilejších modelů.
Více než 1000 zaměstnanců předních společností zabývajících se umělou inteligencí v minulé úterý podepsalo petici adresovanou americké vládě, v níž požadují opatření ke »kontrolování tempa« vývoje této technologie.
Mezi těmi, kdo text podepsali, jsou generální ředitel společnosti Anthropic, vedoucí výzkumu v OpenAI, hlavní stratég ve společnosti DeepMind (dceřiná společnost Googlu zabývající se umělou inteligencí) a hlavní vědec ve společnosti Meta AI.
Ve své žádosti signatáři žádají »vládu USA o podporu mezinárodní iniciativy na vývoj technických a regulačních nástrojů potřebných k pečlivé kontrole tempa vývoje autonomních systémů umělé inteligence«.
»Přední společnosti v oboru odhadují, že jsme velmi blízko automatizaci výzkumu umělé inteligence. I když je těžké přesně předpovědět, jak moc to urychlí technologický pokrok, existuje reálné riziko, že se schopnosti systémů budou rychle vyvíjet a překonají naši schopnost jim porozumět nebo je ovládat,« uvádí se v textu výzvy.
Generální ředitel společnosti Sam Altman, který výzvu nepodepsal, uvedl, že firmy zabývající se vývojem umělé inteligence možná budou muset dobrovolně zpomalit tempo pokroku, aby společnosti poskytly potřebný čas na adaptaci.
»Byl to první bezpečnostní incident, který mnou tak otřásl,« řekl Altman v podcastu »Invest Like the Best« a dodal, že ho překvapilo, že více lidí nereagovalo podobně.
I když to nebylo poprvé, co model umělé inteligence fungoval mimo kontrolu svých tvůrců, tento poslední incident byl v oboru považován za obzvláště znepokojivý.
Ioannis Sideropulos