Katalog ryzyk warstwy 2 modelu K0NSULT: incydenty AI i agentowe. Każde ryzyko opisane z priorytetem reakcji, właściwą flagą AI Act, statusem nadzoru człowieka (human oversight, AI Act art. 14) oraz odnośnikiem do playbooka. Poniżej szybki test kwalifikacji systemu jako high-risk.
Wstrzyknięcie instrukcji w dane wejściowe (bezpośrednie lub pośrednie — z dokumentu/strony), które nadpisuje politykę modelu, wyprowadza dane lub wywołuje niepożądane akcje agenta.
Nadzór człowieka: wymagany dla akcji z efektem zewnętrznym (payment, e-mail, zmiana konfiguracji).
Przejęcie kontroli nad autonomicznym agentem — nadużycie jego uprawnień (API, tokeny, dostęp do systemów) do działań w imieniu organizacji poza intencją operatora.
Nadzór człowieka: KRYTYCZNY — natychmiastowe odcięcie agenta (kill-switch) wymaga zatwierdzenia AI Safety Officer.
Zatruwanie danych treningowych / fine-tuningu / bazy RAG w celu wprowadzenia backdoora, biasu lub degradacji jakości modelu. Efekt często ujawnia się z opóźnieniem.
Nadzór człowieka: walidacja źródeł danych i wersjonowanie datasetów (data provenance).
Kradzież modelu przez masowe odpytywanie (query-based extraction) lub wyprowadzenie wag/parametrów — utrata własności intelektualnej i wektor do dalszych ataków offline.
Nadzór człowieka: monitoring wzorców odpytań, rate-limiting, detekcja anomalii.
Model generuje nieprawdziwą, zmyśloną lub niezweryfikowaną informację prezentowaną jako fakt — ryzyko decyzji na błędnej podstawie, szczególnie w usługach finansowych i doradczych.
Nadzór człowieka: doktryna claim ≤ proof — twierdzenie bez dowodu = status GAP, nie publikacja.
Syntetyczny głos / wideo / dokument użyty do fraudu (np. „telefon od prezesa"), obejścia weryfikacji tożsamości lub dezinformacji. Art. 50 AI Act: obowiązek oznaczania treści generowanych.
Nadzór człowieka: weryfikacja out-of-band (drugi kanał) przy poleceniach finansowych.
Zdarzenie z udziałem systemu AI powodujące (lub grożące) poważną szkodą: dla zdrowia, praw podstawowych, infrastruktury krytycznej lub mienia. AI Act art. 73 — obowiązek zgłoszenia.
Nadzór człowieka: decyzja Legal/DPO + AI Safety Officer o zgłoszeniu do organu w terminie.
Fałszywa lub niezweryfikowana tożsamość agenta: podszywanie się pod usługę, brak uwierzytelnienia agent-to-agent, agent działający bez przypisanego właściciela/rozliczalności.
Nadzór człowieka: rejestr agentów, przypisany właściciel, uwierzytelnianie (DID/PKI, warstwa PQC).
| Klasa ryzyka | Zdarzeń (demo) | Priorytet bazowy | Flaga AI Act | Nadzór człowieka |
|---|---|---|---|---|
| Prompt injection | 18 | P1 | AI_ACT_RELEVANT | Wymagany |
| Agent hijack | 9 | P0 | AI_SERIOUS_INCIDENT | Krytyczny |
| Halucynacja / false claim | 8 | P1 | AI_ACT_RELEVANT | Wymagany |
| Deepfake | 7 | P1 | AI_ACT_RELEVANT (art.50) | Wymagany |
| Data poisoning | 5 | P1 | AI_HIGH_RISK | Wymagany |
| Model extraction | 4 | P2 | AI_ACT_RELEVANT | Zalecany |
| Agent identity risk | 3 | P1 | AI_ACT_RELEVANT | Wymagany |
Wstępny, orientacyjny test kwalifikacji wg logiki AI Act (art. 6 + Aneks III). Nie zastępuje oceny prawnej. Jeśli system spełnia którekolwiek z poniższych i nie mieści się w wyłączeniach — traktuj wstępnie jako high-risk i przejdź do Compliance.
Czy system AI wpływa na którekolwiek z poniższych obszarów?
System K0NSULT traktuje brak lub osłabienie nadzoru człowieka jako samodzielny czynnik ryzyka — niezależnie od typu zagrożenia. Agent z uprawnieniami do działań nieodwracalnych bez punktu zatwierdzenia = eskalacja priorytetu.
Człowiek zatwierdza akcje o efekcie zewnętrznym. stan pożądany
Człowiek widzi log post-factum, nie blokuje. ryzyko średnie
Agent działa w pełni autonomicznie na produkcji. ryzyko wysokie
Możliwość natychmiastowego odcięcia agenta. wymóg dla P0/P1