Otevře se na nové kartě
777 809 802Domluvit konzultaci
Menu

Asistent čte vaši poštu. Kdo mu ještě může dávat pokyny?

Asistent s umělou inteligencí, který shrnuje poštu nebo hledá v dokumentech, čte i texty, které napsal někdo cizí. Skrytý pokyn v e-mailu, v dokumentu nebo na webu může vzít jako příkaz. Odborně se tomu říká nepřímé vložení pokynů (indirect prompt injection). Copilot nemáte a lidé s ChatGPT jen píšou? Týká se vás to ve chvíli, kdy asistent čte cizí e-mail, dokument nebo web.

  • Kyberbezpečnost
  • Tým BRAFORT
  • 4 min čtení
  • Vydáno:

Jak to funguje

Jazykový model, na kterém asistent běží, dostává pokyny textem. Když zpracovává e-mail, dokument nebo web, dostane do ruky i text, který napsal někdo jiný, a spolehlivě nepozná, co je obsah a co pokyn. Útočník proto může do obsahu schovat větu určenou asistentovi. Podle organizace OWASP, která sepisuje hlavní rizika aplikací s jazykovými modely, nemusí být takový pokyn pro člověka vůbec vidět. Stačí, když ho model přečte.

Co se tím dá způsobit

Záleží na tom, co asistent smí. Když jen shrnuje, může shrnutí zkreslit nebo vynechat varování, které v e-mailu bylo. Data přitom může vynést i takový asistent. Do odpovědi vloží obrázek nebo odkaz na server útočníka a data odejdou, jakmile aplikace obrázek zobrazí nebo člověk na odkaz klikne. Microsoft vynesení dat uvádí mezi nejčastěji hlášenými dopady a techniku s obrázkem ve svých produktech blokuje. Když smí odpovídat, posílat soubory nebo něco zakládat, může skrytý pokyn vést ke škodě. Riziko proto roste s každým oprávněním, které asistent nebo agent dostane. Agent je nástroj AI, který sám dělá kroky, třeba odešle e-mail.

Proč to nevyřeší jen výrobce

Microsoft se proti skrytým pokynům v Copilotu brání vlastními klasifikátory. Sám ale píše, že nemusí pokrývat všechny situace a že některé útoky mohou obranou projít. Proto Microsoft staví Copilot tak, aby i úspěšný útok napáchal co nejmenší škodu: třeba e-mail, který Copilot v Outlooku napíše, musí uživatel sám schválit a odeslat. Podle OWASP není jasné, jestli proti skrytým pokynům existuje stoprocentní obrana. Dopad se ale dá zmírnit.

Co nastavit

Body 1 až 3 nastaví ten, kdo vám spravuje Microsoft 365 nebo nástroj, ve kterém asistent běží. Když tenhle nástroj nikdo nespravuje, asistenta k firemní poště ani dokumentům nepřipojujte. Bod 4 zvládnete sami.

  1. Asistentovi i agentovi dejte jen oprávnění, která nutně potřebuje. Kdo jen shrnuje poštu, nemusí smět odesílat. Microsoft 365 Copilot ukáže z firemních dat jen to, co smí otevřít člověk, za kterého pracuje. Co Copilot uvidí, tedy určují oprávnění lidí (bod 3).
  2. Akce s velkým dopadem, třeba odeslání e-mailu ven, platbu nebo mazání, ať schvaluje člověk.
  3. Ukliďte sdílení. Microsoft 365 Copilot s doplňkovou licencí vidí všechno, k čemu má přístup jeho uživatel, i složky, které někdo kdysi nasdílel celé firmě. Copilot Chat, který je v ceně vybraných licencí Microsoft 365, sám do vašich dokumentů nesahá. Pracuje hlavně s webem a s tím, co mu člověk vloží, nahraje nebo má otevřené v Outlooku či Teams. K dalším firemním datům se dostane jen přes placeného agenta. Jestli Copilot Chat vaši lidé mají, ví ten, kdo vám Microsoft 365 spravuje.
  4. Řekněte lidem, že se asistent dá zmást. Platby, změny čísla účtu a odeslání dat ven ať ověřují vlastním postupem a nespoléhají jen na to, co asistent napsal.

Když to chcete nechat na nás

Než zapnete Copilot nebo jiného asistenta, projdeme s vámi oprávnění a sdílení v Microsoft 365, aby asistent neukazoval lidem víc, než mají vidět. Na školení lidem vysvětlíme, co do nástrojů AI nepatří. Probereme i to, proč asistent nemá jen tak vykonávat pokyny, které najde v e-mailu nebo dokumentu. Proti skrytým pokynům pomáhají hlavně omezená oprávnění a schvalování. S jiným rizikem, citlivými daty, která lidé do nástrojů AI sami vkládají, pomůže ochrana počítačů Check Point v edici Elite nebo FortiDLP od Fortinetu. Obě hlídají vkládaná data jen ve webových verzích nejběžnějších nástrojů AI, v aplikacích mimo prohlížeč ne.

Zdroje: OWASP Top 10 for LLM Applications 2025, LLM01 Prompt Injection (otevře se v novém okně) a LLM06 Excessive Agency (otevře se v novém okně); Microsoft Learn, Data, Privacy, and Security for Microsoft Copilot (otevře se v novém okně); Microsoft Security Response Center, How Microsoft defends against indirect prompt injection attacks (29. 7. 2025) (otevře se v novém okně).

Co číst dál

Sedmnáct článků, jeden cíl: abyste dodavateli IT rozuměli dřív, než podepíšete.

Všechna témata poradny