Co to je
Prompt injection (česky injekce promptu) je způsob, jak oklamat umělou inteligenci (AI) tím, že se mezi běžný text propašují pokyny, které si nástroj vyloží jako příkaz; „prompt“ je zadání, podle něhož AI pracuje. Může je napsat sám uživatel, mohou však být ukryty i na webové stránce, v dokumentu nebo v e-mailu, který AI čte. Nástroj pak nemusí rozlišit, co je zadání od majitele a co jen obsah ke zpracování.
Proč na tom záleží
Dokud AI jen píše odpovědi, je dopad omezený. Má-li ale přístup k firemním datům nebo umí provádět akce, třeba posílat zprávy, mohou podvržené pokyny způsobit únik informací či nechtěný krok. Obecně se uznává, že úplnou ochranu zatím nikdo nezaručí, proto se používá více pojistek najednou.
Modelový příklad
Model: asistent zákaznické podpory cestovní kanceláře čte e-maily klientů a navrhuje odpovědi. V jednom e-mailu je ukryta věta vyzývající AI k odeslání seznamu jiných klientů. Dobře navržený systém tomu brání: AI k takovým datům nemá přístup a zprávy bez schválení neodesílá.
Co byste měli vědět
- Dávejte AI co nejmenší oprávnění: jen data a akce, které pro úkol potřebuje.
- Kroky s dopadem navenek, například odeslání zprávy nebo mazání, nechte potvrdit člověkem.