Prompt injection

czym jest prompt injection

Prompt injection to technika ataku, w której złośliwe instrukcje są osadzone w treści przetwarzanej przez system AI. Gdy model czyta tę treść, może wykonać osadzone instrukcje tak, jakby zostały wydane przez uprawnionego użytkownika.

Prosty przykład: użytkownik prosi asystenta AI o streszczenie dokumentu. Dokument zawiera, obok zwykłego tekstu, ukrytą instrukcję, która nakazuje modelowi zamiast tego odpowiedzieć zmyślonym streszczeniem i wyprowadzić określone dane. Model przetwarza dokument i może wykonać osadzoną instrukcję. Użytkownik dostaje wynik, który wygląda wiarygodnie, nie wiedząc, że zachowanie modelu zostało przekierowane.

Prompt injection różni się od konwencjonalnych podatności w oprogramowaniu. Nie ma tu wykonania kodu. Atak działa przez zachowanie modelu polegające na wykonywaniu instrukcji, czyli dokładnie to samo zachowanie, które czyni model przydatnym.

dlaczego prompt injection to wyzwanie strukturalne

Żadna aktualizacja oprogramowania nie usuwa prompt injection łatką. Obecne modele językowe nie odróżniają wiarygodnie instrukcji użytkownika od instrukcji osadzonych w przetwarzanej treści. To fundamentalna cecha tego, jak działają.

Ryzyko rośnie proporcjonalnie do dwóch czynników. Po pierwsze, ile niezaufanej treści przetwarza system AI. System, który przetwarza tylko treść wpisaną przez użytkownika, niesie niższe ryzyko niż taki, który przetwarza maile, strony internetowe, przesłane dokumenty czy dane pobrane ze źródeł zewnętrznych. Po drugie, na co pozwala się systemowi AI. System, który generuje tekst, niesie niższe ryzyko niż taki, który może wysyłać maile, tworzyć dokumenty czy wchodzić w interakcję z innymi aplikacjami.

Systemy agentic AI, które działają autonomicznie na danych uwierzytelniających użytkownika, to miejsce, gdzie ryzyko prompt injection jest najwyższe. Agent, który przetwarza stronę internetową lub dokument kontrolowany przez atakującego i ma uprawnienia do podejmowania działań w podłączonych aplikacjach, stanowi istotną powierzchnię ataku.

co prompt injection może w praktyce spowodować

Praktyczne ryzyko prompt injection zależy całkowicie od tego, do czego system AI jest upoważniony.

Dla asystentów AI, które tylko generują tekst, ryzykiem jest wprowadzający w błąd wynik. Model przetwarzający dokument kontrolowany przez atakującego może wytworzyć streszczenie, które służy interesom atakującego, nie użytkownika. Wpływ ogranicza się do błędnej informacji docierającej do człowieka, który potem na jej podstawie działa.

Dla systemów agentowych z dostępem do aplikacji profil ryzyka się zmienia. Agent z uprawnieniem do wysyłania maili może zostać skierowany przez wstrzykniętą instrukcję do wysłania maila w imieniu użytkownika. Ten z dostępem do systemu przechowywania plików może zostać skierowany do udostępnienia plików. Ten z dostępem do kalendarza może zmodyfikować spotkania. Działanie jest ograniczone uprawnieniami agenta, które we wdrożeniach enterprise są często szerokie.

Atak nie wymaga malware, kradzieży danych uwierzytelniających ani włamania sieciowego. Wymaga tylko, żeby system AI przetworzył treść, na którą atakujący ma wpływ, i żeby system miał uprawnienia do zrobienia czegoś istotnego.

co działa

Prompt injection nie da się w pełni zapobiec przy obecnych modelach, więc kontrole, które mają znaczenie, tkwią w dostępie i architekturze, nie w samym modelu. Least privilege wykonuje tu najwięcej pracy. Agent, który może odczytywać i zapisywać tylko zdefiniowany podzbiór danych i podejmować tylko zdefiniowany zestaw działań, zamienia udany injection z incydentu w niedogodność, dlatego uprawnienia każdego agenta AI zasługują na porównanie z minimum wymaganym przez zadanie. Ta sama arytmetyka dotyczy danych wejściowych: systemy przetwarzające treść, na którą wpływ ma atakujący, publiczne strony internetowe, zewnętrzną pocztę, dokumenty przesłane przez osoby z zewnątrz, niosą znacznie większe ryzyko injection niż systemy ograniczone do treści wewnętrznej, a workflow zaprojektowane tak, żeby trzymać agentów z szerokimi uprawnieniami z dala od niezaufanej treści, usuwają większość praktycznej powierzchni ataku. Kombinacja najwyższego ryzyka jest zawsze ta sama: system, który przetwarza treść zewnętrzną i ma szerokie uprawnienia do działania.

Potwierdzenie człowieka przy działaniach nieodwracalnych to kontrola, która przetrwa nawet wtedy, gdy inne zawiodą. Wysyłanie maili do klientów, modyfikowanie rekordów finansowych i usuwanie danych pozostają za wyraźnym zatwierdzeniem, niezależnie od tego, skąd pochodziło żądanie, co ogranicza to, co jakakolwiek wstrzyknięta instrukcja może samodzielnie osiągnąć. Logowanie na poziomie działań stanowi różnicę między zbadaniem nieoczekiwanego działania agenta a zgadywaniem, a wiele wdrożeń platform AI ma to logowanie domyślnie wyłączone. A ponieważ wprowadzający w błąd wynik sam w sobie jest ładunkiem ataku, treść wygenerowana przez AI trafiająca poza organizację korzysta z kroku przeglądu przez człowieka między wygenerowaniem a dostarczeniem. Ta pojedyncza bramka wychwytuje najbardziej istotne wyniki injection, zanim wyrządzą szkodę.