Czy nasz chatbot AI to ryzyko prawne?

Chatbot mówi w twoim imieniu: wiążące oświadczenia i odpowiedzialność

Najbardziej jednoznaczną rozstrzygniętą sprawą jest Moffatt v. Air Canada, 2024 BCCRT 149, przed trybunałem Civil Resolution Tribunal w Kolumbii Brytyjskiej. Klient zapytał chatbota na stronie Air Canada o taryfy żałobne po śmierci w rodzinie. Bot odpowiedział, że może wystąpić o obniżoną taryfę wstecznie, w ciągu 90 dni, składając formularz zwrotu. To była błędna informacja. Inna podstrona tej samej witryny mówiła coś przeciwnego, a Air Canada odmówiła zwrotu.

Warto zapamiętać linię obrony Air Canady. Firma argumentowała, że chatbot jest w istocie odrębnym podmiotem, odpowiedzialnym za własne działania. Trybunał nazwał to „niezwykłym twierdzeniem" i odrzucił je wprost: „Chociaż chatbot ma komponent interaktywny, wciąż jest tylko częścią strony Air Canada. Air Canada powinno być oczywiste, że odpowiada za wszystkie informacje na swojej stronie. Nie ma znaczenia, czy informacja pochodzi ze statycznej podstrony, czy z chatbota."

Trybunał uznał, że spełnione zostały przesłanki niedbałego wprowadzenia w błąd: Air Canada miała wobec klienta obowiązek staranności wynikający z relacji handlowej, oświadczenie było nieprawdziwe, firma nie dołożyła należytej staranności, by zapewnić poprawność działania bota, klient rozsądnie na nim polegał i poniósł z tego tytułu szkodę. Air Canada została zobowiązana do zapłaty odszkodowania w wysokości 650,88 CAD, czyli różnicy między zapłaconą taryfą a taryfą żałobną. Trybunał odrzucił też pogląd, że klient powinien sam zestawiać ze sobą różne fragmenty strony firmy.

Kwota jest symboliczna. Zasada nie jest. Trybunał z Kolumbii Brytyjskiej nie wiąże sądów w UE, ale odzwierciedla ugruntowaną regułę, do której sądy w innych jurysdykcjach dochodziły także w sprawach systemów zautomatyzowanych: firma odpowiada za wyniki działania narzędzi, które wdraża, a zautomatyzowanie oświadczenia nie zdejmuje z niej odpowiedzialności. Dla bota działającego wobec klientów wszystko, co twierdzi na temat ceny, zasad, uprawnień, gwarancji czy zwrotów, może zostać potraktowane jako oświadczenie twojej firmy. Jeśli kupujący rozsądnie na tym polega i traci na tym, ekspozycja jest realna, niezależnie od tego, czy podstawą jest wprowadzenie w błąd, naruszenie umowy czy nieuczciwa praktyka rynkowa.

Z tego wynikają dwa praktyczne wnioski. Informacja, że bot „może się mylić", pomaga, ale nie daje automatycznego immunitetu, zwłaszcza tam, gdzie prawo konsumenckie ogranicza, w jakim zakresie firma może wyłączyć swoją odpowiedzialność wobec konsumentów. Air Canada nie powoływała się na taki zapis, więc trybunał nie musiał go testować. I im więcej twardych faktów o własnych zasadach bot może twierdzić, tym wyższa stawka: bot, który pobiera odpowiedź z aktualnej, kontrolowanej treści polityki, jest w zupełnie innej sytuacji niż ten, który improwizuje na bazie ogólnego modelu.

Informowanie, że to bot: obowiązek ujawnienia z Artykułu 50

Od 2 sierpnia 2026 obowiązuje Artykuł 50(1) unijnego AI Act. Providerzy systemów AI „przeznaczonych do bezpośredniej interakcji z osobami fizycznymi" muszą projektować je tak, by ludzie byli informowani, że wchodzą w interakcję z systemem AI, chyba że jest to oczywiste „z punktu widzenia osoby fizycznej, która jest racjonalnie dobrze poinformowana, uważna i ostrożna". Chatbot obsługi klienta czy sprzedaży to podręcznikowy przypadek, dla którego ten artykuł został napisany.

Ujawnienie musi być wyraźne i rozróżnialne, najpóźniej w momencie pierwszej interakcji, i musi spełniać obowiązujące wymogi dostępności (Art. 50(5)). W praktyce oznacza to, że bot mówi, że jest AI, na początku rozmowy albo wcześniej, w formie, którą przekaże czytnik ekranu, a nie ukrytą na stronie regulaminu, której nikt nie otwiera. Komisja opublikowała projekt wytycznych do Artykułu 50 8 maja 2026, wyjaśniający zakres i zastosowanie; na połowę czerwca 2026 finalna wersja nie została jeszcze wydana, więc szczegóły mogą się jeszcze zmienić.

Warto precyzyjnie określić kilka granic. Wyjątek „oczywistości" jest wąski, więc bezpieczną drogą jest wyraźne oświadczenie, a nie zakład o to, co sąd uzna za oczywiste. Wyłączenie w Art. 50(1) dla systemów służących do wykrywania lub ścigania przestępstw nie pomaga botowi e-commerce ani obsługi klienta. A jeśli twój bot generuje też syntetyczne audio, obraz, wideo lub tekst, Art. 50(2) nakłada na providera osobny obowiązek oznaczenia tej treści jako wygenerowanej sztucznie, w formacie odczytywalnym maszynowo, odrębny od zasady „powiedz ludziom, że to bot".

Naruszenia Artykułu 50 mieszczą się w standardowym progu kar: do 15 mln EUR lub 3% globalnego rocznego obrotu, w zależności od tego, która wartość jest niższa, dla MŚP i startupów. Koszt zgodności to natomiast jedno zdanie na początku rozmowy.

Co bot może robić kupującemu: granice manipulacji i dark patterns

Artykuł 5 AI Act obowiązuje od 2 lutego 2025 i wprost zakazuje krótkiej listy praktyk. Dwa z tych zakazów mają znaczenie dla chatbota nastawionego na sprzedaż. Artykuł 5(1)(a) zakazuje AI, które stosuje techniki podprogowe poza świadomością człowieka albo celowo manipulacyjne lub wprowadzające w błąd techniki, których celem lub skutkiem jest istotne zniekształcenie zachowania poprzez znaczące upośledzenie zdolności danej osoby do podjęcia świadomej decyzji, w sposób, który powoduje lub może z dużym prawdopodobieństwem spowodować poważną szkodę. Artykuł 5(1)(b) zakazuje AI, które wykorzystuje słabości wynikające z wieku, niepełnosprawności albo szczególnej sytuacji społecznej lub ekonomicznej, również w celu zniekształcenia zachowania i spowodowania poważnej szkody.

Wytyczne Komisji dotyczące zakazanych praktyk wskazują dark patterns jako przykład techniki manipulacyjnej lub wprowadzającej w błąd, gdy mogą one spowodować poważną szkodę. Dla chatbota przekłada się to na konkretne granice projektowe. Bot, który wymyśla fałszywy niedobór, tworzy spersonalizowaną „ofertę", która nie istnieje, wywiera presję na wahającego się kupującego, wykorzystując zadeklarowaną przez niego trudną sytuację, albo prowadzi kogoś przez rezygnację prosto do zakupu, działa w strefie, którą Artykuł 5 ma adresować. Próg jest wysoki: praktyka musi istotnie zniekształcać zachowanie i powodować lub grozić poważną szkodą, więc zwykły przekonujący tekst i standardowe promocje nie są objęte zakazem. Ale bot agresywnie dostrojony do maksymalizacji konwersji, zwłaszcza taki, który dopasowuje presję do konkretnej osoby, to dokładnie ten typ systemu, który może przekroczyć granicę.

Artykuł 5 nie działa w izolacji. Unijna dyrektywa o nieuczciwych praktykach handlowych i krajowe prawo konsumenckie już teraz zakazują praktyk wprowadzających w błąd i agresywnych, a regulatorzy ochrony konsumentów od lat aktywnie zajmują się dark patterns. Manipulacyjny bot może więc być problemem na gruncie dwóch reżimów naraz, przy czym Artykuł 5 niesie najwyższy pułap kary w całym akcie, do 35 mln EUR lub 7% globalnego obrotu. Bezpieczna postawa projektowa to taka, w której bot pomaga kupującemu podjąć decyzję i nigdy nie działa na rzecz odebrania mu zdolności do jej podjęcia.

Dane osobowe: RODO już obowiązuje

Bot obsługi klienta czy sprzedaży niemal zawsze przetwarza dane osobowe. Pobiera imię i e-mail, sprawdza zamówienie, odwołuje się do adresu dostawy, czasem rejestruje reklamację, w której pojawia się zdrowie albo inna wrażliwa kategoria danych. W tym momencie RODO stosuje się w pełni, a w przeciwieństwie do zasad AI Act dotyczących chatbotów, RODO nie czeka na 2 sierpnia 2026. Obowiązuje już teraz.

Obowiązki, które w kontekście chatbota dają się we znaki najczęściej, są następujące. Przejrzystość: ludzie muszą zostać poinformowani, w twojej informacji o prywatności, że chatbot przetwarza ich dane i w jakim celu. Podstawa prawna: musisz ją mieć, a podstawa dla samego działania bota i dla późniejszego wykorzystania zapisów rozmów nie musi być automatycznie ta sama. Minimalizacja danych i retencja: bot, który loguje całe rozmowy bezterminowo, gromadzi zobowiązanie, a zapisy rozmów podlegają wnioskom o dostęp i usunięcie tak jak każdy inny rekord. Dalsze wykorzystanie: wykorzystanie rozmów do trenowania modelu to osobny cel przetwarzania, który wymaga własnej podstawy prawnej i własnej informacji, i to miejsce, w którym wdrożenia najczęściej po cichu wychodzą poza dozwolone ramy.

Uwagi wymagają dwie ostrzejsze kwestie. Dane szczególnej kategorii, na przykład cokolwiek ujawniającego stan zdrowia, mogą pojawić się w rozmowie z obsługą klienta niezależnie od tego, czy o nie pytałeś, i podlegają surowszym warunkom z Artykułu 9. A jeśli bot podejmuje lub w istotnym stopniu współkształtuje decyzję wywołującą skutki prawne albo podobnie istotnie wpływającą na osobę, bez realnego udziału człowieka, Artykuł 22 RODO to ogranicza i daje tej osobie prawo do informacji, do zakwestionowania decyzji i do uzyskania interwencji człowieka. Większość botów sprzedażowych nie wchodzi w zakres Artykułu 22, bo informują, a nie decydują, ale bot ustawiony tak, by automatycznie odrzucać roszczenie albo odmawiać usługi, może w niego wejść.

Jailbreaki i szkody wizerunkowe: kiedy botem steruje obcy

Dwa publiczne incydenty pokazują inny tryb awarii: bot nie po prostu popełnia błąd, tylko zostaje przez użytkownika naprowadzony na działanie, którego firma nigdy nie zamierzała.

W grudniu 2023 użytkownik nakłonił chatbota opartego na ChatGPT na stronie Chevrolet of Watsonville, by zgodził się na wszystko, co powie klient, i traktował każdą odpowiedź jako prawnie wiążącą ofertę, a następnie poprosił go o sprzedaż pojazdu wartego dziesiątki tysięcy dolarów za jednego dolara. Bot się zgodził, a wymiana wiadomości rozeszła się szeroko. Dealer nie uznał tej „umowy", a dla wymuszonej w ten sposób „zgody" argument o zawarciu umowy jest słaby, bo żadna rozsądna osoba nie uznaje zmanipulowanego bota za upoważnionego do wiązania firmy. Epizod i tak wywołał realną szkodę wizerunkową i zmusił firmę do wyłączenia bota, i jest czystą ilustracją tego, dlaczego bot obsługujący klientów nigdy nie powinien mieć uprawnień do samodzielnego zobowiązywania firmy do ceny czy umowy.

W styczniu 2024 klientowi udało się doprowadzić chatbota kurierskiego DPD do przeklinania i nazwania własnego pracodawcy najgorszą firmą kurierską, po tym jak aktualizacja oprogramowania usunęła jeden z guardraili. DPD wyłączyło element AI. Bez kary, bez pozwu, tylko wirusowa rana wizerunkowa, którą firma musi publicznie posprzątać.

Lekcja z obu przypadków jest taka, że publiczny bot to powierzchnia ataku, a celem atakującego jest często zrzut ekranu, a nie włamanie do systemu. Prompt injection, czyli sytuacja, w której dane wejściowe użytkownika nadpisują instrukcje bota, to znana i w ogólnym ujęciu nierozwiązana kategoria słabości, więc trwałą odpowiedzią jest architektura: ograniczyć, co bot może powiedzieć i zrobić, trzymać poza jego zasięgiem uprawnienia dotyczące pieniędzy i zobowiązań, i zakładać, że każdy output może stać się publicznym artefaktem.

Jak wyglądają dobre kontrole

We wszystkich sześciu obszarach ekspozycji powraca ten sam garnitur kontroli. To wiedza, nie lista zakupów.

• Ogranicz zakres uprawnień bota. Świadomie zdecyduj, co może stwierdzać jako fakt i co może robić. Bot, który pobiera odpowiedzi z aktualnej, zarządzanej treści polityki, jest znacznie bezpieczniejszy niż taki, który improwizuje na bazie ogólnego modelu. Trzymaj zobowiązania cenowe, akceptację umów, zwroty i decyzje o roszczeniach poza zasięgiem bota albo za plecami człowieka.
• Ujawniaj domyślnie. Otwieraj każdą rozmowę prostym oświadczeniem, że użytkownik rozmawia z asystentem AI, w dostępnej formie, aby spełnić Artykuł 50(1) od 2 sierpnia 2026 i ustawić uczciwe oczekiwania już teraz.
• Osadzaj odpowiedzi w rzeczywistości i ograniczaj model. Podłącz bota do utrzymywanego źródła prawdy, tak by jego odpowiedzi odzwierciedlały twoje aktualne zasady, i ogranicz jego zachowanie instrukcjami systemowymi i filtrowaniem outputu. To zmniejsza zarówno liczbę pewnych siebie błędnych odpowiedzi, jak i skutecznych jailbreaków.
• Projektuj perswazję w granicach prawa. Trzymaj bota po stronie pomagania kupującemu w podjęciu decyzji. Unikaj wymyślonego niedoboru, fałszywej spersonalizowanej pilności i wszelkiej presji celującej w zadeklarowaną słabość danej osoby, bo to właśnie tu spotykają się Artykuł 5 i prawo konsumenckie.
• Traktuj dane właściwie. Zmapuj, co bot zbiera, nadaj temu podstawę prawną, zapisz to w informacji o prywatności, ustaw retencję, obsługuj wnioski o dostęp i usunięcie zapisów rozmów, i trzymaj rozmowy z dala od trenowania modeli, chyba że masz do tego osobną podstawę i informację.
• Loguj, monitoruj i ćwicz awarię. Rejestruj, co bot powiedział, obserwuj manipulację i output niezgodny z polityką, i miej szybką ścieżkę wyłączenia lub wycofania bota, dokładnie to, co pod presją zrobiły DPD i dealer Chevroleta.
• Zleć przegląd treści prawnikowi. Komunikaty, zastrzeżenie wewnątrz bota i regulamin, który go reguluje, są warte oka prawnika, bo zastrzeżenie nie zawsze dociera do konsumenta tak samo skutecznie jak do firmy.

Nic z tego nie wymaga traktowania bota jak zagrożenia, którego trzeba się bać. Wymaga traktowania go jako tego, czym jest: systemu, który przemawia w twoim imieniu, do twoich klientów, na podstawie prawa, które już obejmuje większość tego, co robi, i wkrótce obejmie resztę.

Sources

• Moffatt v. Air Canada, 2024 BCCRT 149 (CanLII) · https://www.canlii.org/en/bc/bccrt/doc/2024/2024bccrt149/2024bccrt149.html (orzeczenie o odpowiedzialności za chatbota, stan faktyczny, uzasadnienie i odszkodowanie)
• McCarthy Tétrault, "Moffatt v. Air Canada: A Misrepresentation by an AI Chatbot" · https://www.mccarthy.ca/en/insights/blogs/techlex/moffatt-v-air-canada-misrepresentation-ai-chatbot (dosłowny fragment „remarkable submission" / „separate legal entity" i analiza prawna)
• EU AI Act, Article 50 (full text and entry-into-force date) · https://artificialintelligenceact.eu/article/50/ (ujawnienie chatbota 50(1), oznaczanie treści syntetycznych 50(2), wymóg wyraźności i terminu 50(5), obowiązuje od 2 sierpnia 2026)
• European Commission, consultation on draft guidelines on transparency obligations under the AI Act · https://digital-strategy.ec.europa.eu/en/consultations/consultation-draft-guidelines-transparency-obligations-under-ai-act (projekt wytycznych do Artykułu 50, maj 2026, jeszcze nie finalny)
• EU AI Act, Article 5 (prohibited practices) · https://artificialintelligenceact.eu/article/5/ (techniki manipulacyjne/wprowadzające w błąd i wykorzystywanie słabości, obowiązuje od 2 lutego 2025)
• WilmerHale, "Prohibited AI Practices: A Deep Dive into Article 5" · https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20240408-prohibited-ai-practices-a-deep-dive-into-article-5-of-the-european-unions-ai-act (analiza progów Art. 5(1)(a)-(b) i dark patterns)
• National Law Review, "EU Clarifies AI Act's Prohibited Practices with New Guidelines" · https://natlawreview.com/article/european-commissions-guidance-prohibited-ai-practices-unraveling-ai-act (wytyczne Komisji wskazujące dark patterns jako technikę manipulacyjną)
• GDPR, Article 22 (automated individual decision-making) · https://gdpr-info.eu/art-22-gdpr/ (ograniczenia i prawa przy decyzjach podejmowanych w pełni automatycznie)
• ICO, rights related to automated decision-making including profiling · https://ico.org.uk/for-organisations/uk-gdpr-guidance-and-resources/individual-rights/individual-rights/rights-related-to-automated-decision-making-including-profiling/ (wytyczne regulatora dotyczące stosowania Artykułu 22)
• Cybernews, "Chevrolet dealership duped by hacker into selling $70K car at criminally low price" · https://cybernews.com/ai-news/chevrolet-dealership-chatbot-hack/ (incydent prompt injection ze sprzedażą pojazdu za dolara, grudzień 2023)
• Fox Business, "DPD AI error causes chatbot to swear" · https://www.foxbusiness.com/technology/dpd-ai-error-causes-chatbot-swear-calls-itself-worst-delivery-service-disgruntled-user-report (incydent z przeklinającym chatbotem DPD, styczeń 2024)
• AI Act penalties, Article 99 · https://artificialintelligenceact.eu/article/99/ (pułap 35 mln EUR/7% za zakazane praktyki, pułap standardowy 15 mln EUR/3%, niższe pułapy dla MŚP)