Vzestup umělé inteligence v generování kódu mění prostředí vývoje softwaru, slibuje vyšší produktivitu a automatizaci opakujících se úloh. Tento posun však přináší nové bezpečnostní výzvy. Studie ukazují, že kód generovaný AI často upřednostňuje funkčnost před inherentní bezpečností, což vede k alarmující míře selhání zabezpečení v různých programovacích jazycích.
V reakci na tyto hrozby povýšil Open Worldwide Application Security Project (OWASP) svůj projekt Generative AI Security Project na „vlajkovou loď", což podtrhuje, že zabezpečení AI vyžaduje specializované a kolaborativní vedení. Seznam OWASP Top 10 pro LLM aplikace (2025) identifikuje deset nejkritičtějších rizik a poskytuje základní plán pro bezpečný vývoj.
OWASP Top 10 – Rizika a strategie zmírnění
1. LLM01: Prompt Injection
- Popis: Škodlivé vstupy manipulují chování LLM, což může vést k neoprávněným akcím nebo úniku dat.
- Zmírnění: Validace a filtrování vstupů, oddělení uživatelských a systémových promptů.
2. LLM02: Sensitive Information Disclosure
- Popis: LLM neúmyslně odhalí citlivé informace ve svých výstupech.
- Zmírnění: Sanitizace a filtrování výstupů a omezení přístupu LLM k citlivým datům.
3. LLM03: Supply Chain
- Popis: Zranitelnosti v dodavatelském řetězci LLM, jako jsou kompromitované modely nebo škodlivé knihovny třetích stran.
- Zmírnění: Důkladné prověřování všech komponent a pravidelné bezpečnostní audity.
4. LLM04: Data and Model Poisoning
- Popis: Manipulace s daty pro předtrénování vede k tomu, že LLM generuje nesprávné nebo škodlivé výstupy.
- Zmírnění: Přísná validace a čištění dat a monitorování anomálií.
5. LLM05: Improper Output Handling
- Popis: Nedostatečná validace výstupů LLM může zavést zranitelnosti jako XSS nebo RCE do následných systémů.
- Zmírnění: Důkladná validace a sanitizace všech výstupů LLM před jejich použitím.
6. LLM06: Excessive Agency
- Popis: Nadměrná autonomie LLM může vést k nezamýšleným nebo škodlivým akcím v reálném světě.
- Zmírnění: Přísné řízení oprávnění, omezení přístupu a lidské schvalování kritických akcí.
7. LLM07: System Prompt Leakage
- Popis: Únik interního systémového promptu LLM, který obsahuje citlivé instrukce nebo logiku.
- Zmírnění: Oddělení systémových promptů od uživatelských vstupů a šifrování citlivých promptů.
8. LLM08: Vector and Embedding Weaknesses
- Popis: Slabiny v numerických reprezentacích dat (vektorech) mohou vést k útokům na odvození dat nebo manipulaci s modelem.
- Zmírnění: Používání robustních a ověřených metod vkládání a šifrování vektorových dat.
9. LLM09: Misinformation
- Popis: Dezinformace generované LLM (halucinace) vedou k nesprávným rozhodnutím nebo poškození pověsti.
- Zmírnění: Implementace mechanismů pro ověřování faktů a lidské ověření pro kritická rozhodnutí.
10. LLM10: Unbounded Consumption
- Popis: LLM spotřebovává nadměrné množství výpočetních zdrojů, což může vést k odepření služby nebo neočekávaným nákladům.
- Zmírnění: Implementace kvót zdrojů, monitorování spotřeby a optimalizace promptů.
Závěr: Lidský dohled je nezbytný
Seznam OWASP Top 10 jasně ukazuje, že zabezpečení AI aplikací přesahuje pouhé skenování generovaného kódu a vyžaduje širší, integrovanější bezpečnostní strategii. Lidský dohled je nezbytný. AI je sice výkonný nástroj, ale není náhradou za lidskou inteligenci a kritické myšlení. Čas ušetřený AI by měl být strategicky investován do důkladných bezpečnostních kontrol a architektonického návrhu, aby byla zajištěna kvalita a bezpečnost softwaru.