Jak to funguje
Jazykový model, na kterém asistent běží, dostává pokyny textem. Když zpracovává e-mail, dokument nebo web, dostane do ruky i text, který napsal někdo jiný, a spolehlivě nepozná, co je obsah a co pokyn. Útočník proto může do obsahu schovat větu určenou asistentovi. Podle organizace OWASP, která sepisuje hlavní rizika aplikací s jazykovými modely, nemusí být takový pokyn pro člověka vůbec vidět. Stačí, když ho model přečte.
Co se tím dá způsobit
Záleží na tom, co asistent smí. Když jen shrnuje, může shrnutí zkreslit nebo vynechat varování, které v e-mailu bylo. Data přitom může vynést i takový asistent. Do odpovědi vloží obrázek nebo odkaz na server útočníka a data odejdou, jakmile aplikace obrázek zobrazí nebo člověk na odkaz klikne. Microsoft vynesení dat uvádí mezi nejčastěji hlášenými dopady a techniku s obrázkem ve svých produktech blokuje. Když smí odpovídat, posílat soubory nebo něco zakládat, může skrytý pokyn vést ke škodě. Riziko proto roste s každým oprávněním, které asistent nebo agent dostane. Agent je nástroj AI, který sám dělá kroky, třeba odešle e-mail.
Proč to nevyřeší jen výrobce
Microsoft se proti skrytým pokynům v Copilotu brání vlastními klasifikátory. Sám ale píše, že nemusí pokrývat všechny situace a že některé útoky mohou obranou projít. Proto Microsoft staví Copilot tak, aby i úspěšný útok napáchal co nejmenší škodu: třeba e-mail, který Copilot v Outlooku napíše, musí uživatel sám schválit a odeslat. Podle OWASP není jasné, jestli proti skrytým pokynům existuje stoprocentní obrana. Dopad se ale dá zmírnit.
Co nastavit
Body 1 až 3 nastaví ten, kdo vám spravuje Microsoft 365 nebo nástroj, ve kterém asistent běží. Když tenhle nástroj nikdo nespravuje, asistenta k firemní poště ani dokumentům nepřipojujte. Bod 4 zvládnete sami.
- Asistentovi i agentovi dejte jen oprávnění, která nutně potřebuje. Kdo jen shrnuje poštu, nemusí smět odesílat. Microsoft 365 Copilot ukáže z firemních dat jen to, co smí otevřít člověk, za kterého pracuje. Co Copilot uvidí, tedy určují oprávnění lidí (bod 3).
- Akce s velkým dopadem, třeba odeslání e-mailu ven, platbu nebo mazání, ať schvaluje člověk.
- Ukliďte sdílení. Microsoft 365 Copilot s doplňkovou licencí vidí všechno, k čemu má přístup jeho uživatel, i složky, které někdo kdysi nasdílel celé firmě. Copilot Chat, který je v ceně vybraných licencí Microsoft 365, sám do vašich dokumentů nesahá. Pracuje hlavně s webem a s tím, co mu člověk vloží, nahraje nebo má otevřené v Outlooku či Teams. K dalším firemním datům se dostane jen přes placeného agenta. Jestli Copilot Chat vaši lidé mají, ví ten, kdo vám Microsoft 365 spravuje.
- Řekněte lidem, že se asistent dá zmást. Platby, změny čísla účtu a odeslání dat ven ať ověřují vlastním postupem a nespoléhají jen na to, co asistent napsal.
Když to chcete nechat na nás
Než zapnete Copilot nebo jiného asistenta, projdeme s vámi oprávnění a sdílení v Microsoft 365, aby asistent neukazoval lidem víc, než mají vidět. Na školení lidem vysvětlíme, co do nástrojů AI nepatří. Probereme i to, proč asistent nemá jen tak vykonávat pokyny, které najde v e-mailu nebo dokumentu. Proti skrytým pokynům pomáhají hlavně omezená oprávnění a schvalování. S jiným rizikem, citlivými daty, která lidé do nástrojů AI sami vkládají, pomůže ochrana počítačů Check Point v edici Elite nebo FortiDLP od Fortinetu. Obě hlídají vkládaná data jen ve webových verzích nejběžnějších nástrojů AI, v aplikacích mimo prohlížeč ne.
Zdroje: OWASP Top 10 for LLM Applications 2025, LLM01 Prompt Injection (otevře se v novém okně) a LLM06 Excessive Agency (otevře se v novém okně); Microsoft Learn, Data, Privacy, and Security for Microsoft Copilot (otevře se v novém okně); Microsoft Security Response Center, How Microsoft defends against indirect prompt injection attacks (29. 7. 2025) (otevře se v novém okně).