Odborníci na bezpečnost umělé inteligence ze společnosti HiddenLayer odhalili znepokojivou techniku, která dokáže obejít vestavěné obranné mechanismy všech hlavních jazykových modelů (LLM). Tento objev, nazvaný Policy Puppetry Attack, umožňuje vytvářet škodlivý a nebezpečný obsah a dokonce extrahovat systémové instrukce, což představuje vážné riziko pro bezpečnost a etické využití AI technologií.
Technika, kterou HiddenLayer vyvinula, využívá metodu známou jako prompt injection (vstřikování příkazů) v kombinaci s propracovaným roleplayingem. Podle zprávy zveřejněné 24. dubna 2025 dokáže tato metoda obcházet bezpečnostní opatření modelů od předních společností, jako jsou OpenAI, Google, Anthropic, Meta, DeepSeek, Mistral nebo Alibaba. Výsledkem jsou možnosti generování obsahu, který by jinak byl zakázán – například návody na výrobu chemických, biologických, radiologických či jaderných zbraní, podněcování k masovému násilí nebo informace o sebevraždě.
CEO HiddenLayer Chris Sestito v rozhovoru pro Security Boulevard (25. dubna 2025) uvedl, že jejich technika je první univerzální metodou tohoto druhu. »Naše zjištění ukazují, jak snadno lze zneužít současné jazykové modely, a to i přes jejich pokročilé bezpečnostní mechanismy,« řekl Sestito. Kromě generování nebezpečného obsahu dokáže tato technika odhalit i systémové instrukce, což by mohlo vést k dalšímu zneužití a manipulaci s modely.
Roste riziko zneužití AI
Objev HiddenLayer vyvolal vlnu obav mezi odborníky na kybernetickou bezpečnost. Sociální síť X se rychle zaplnila reakcemi – například uživatel @hiddenlayersec zdůraznil, že tato technika ukazuje, jak křehká je současná bezpečnost AI. Zároveň však někteří experti, jako AI výzkumník Mike Cook (citovaný v TechCrunch, 2022), upozorňují, že podobné hrozby mohly být teoreticky známy již dříve. Cook naznačil, že zatímco technika HiddenLayer je prakticky efektivní, může spíše popularizovat již existující rizika, než objevovat zcela nové.
Sestito dále varoval, že rychlý vývoj AI předbíhá schopnosti odborníků na kybernetickou bezpečnost držet krok s novými hrozbami. „Chybí nám dostatek specialistů zaměřených na bezpečnost AI, což znamená, že tyto zranitelnosti mohou být zneužity dříve, než je dokážeme řešit,“ dodal.
Co to znamená pro budoucnost?
Tento objev zdůrazňuje, jak důležité je investovat do robustnějších bezpečnostních mechanismů pro AI. Jazykové modely se stále častěji využívají v různých odvětvích – od zdravotnictví po vzdělávání – a jejich zneužití by mohlo mít katastrofální důsledky. HiddenLayer vyzvala vývojáře AI, aby přijali pokročilejší metody ochrany, jako je lepší filtrování vstupů a detekce anomálií.
Mezinárodní regulace AI by také mohla hrát klíčovou roli. Evropská unie již připravuje nové předpisy v rámci AI Act, které by měly zahrnovat přísnější pravidla pro bezpečnost a etiku. Nicméně, jak ukazuje případ HiddenLayer, technologický vývoj často předbíhá legislativu, což zůstává výzvou pro globální správu AI.
(cik)
Diskuze je uzavřena.