Vzestup umělé inteligence v generování kódu mění prostředí vývoje softwaru, slibuje vyšší produktivitu a automatizaci opakujících se úloh. Tento posun však přináší nové bezpečnostní výzvy. Studie ukazují, že kód generovaný AI často upřednostňuje funkčnost před inherentní bezpečností, což vede k alarmující míře selhání zabezpečení v různých programovacích jazycích.

V reakci na tyto hrozby povýšil Open Worldwide Application Security Project (OWASP) svůj projekt Generative AI Security Project na „vlajkovou loď", což podtrhuje, že zabezpečení AI vyžaduje specializované a kolaborativní vedení. Seznam OWASP Top 10 pro LLM aplikace (2025) identifikuje deset nejkritičtějších rizik a poskytuje základní plán pro bezpečný vývoj.

OWASP Top 10 – Rizika a strategie zmírnění

1. LLM01: Prompt Injection

  • Popis: Škodlivé vstupy manipulují chování LLM, což může vést k neoprávněným akcím nebo úniku dat.
  • Zmírnění: Validace a filtrování vstupů, oddělení uživatelských a systémových promptů.

2. LLM02: Sensitive Information Disclosure

  • Popis: LLM neúmyslně odhalí citlivé informace ve svých výstupech.
  • Zmírnění: Sanitizace a filtrování výstupů a omezení přístupu LLM k citlivým datům.

3. LLM03: Supply Chain

  • Popis: Zranitelnosti v dodavatelském řetězci LLM, jako jsou kompromitované modely nebo škodlivé knihovny třetích stran.
  • Zmírnění: Důkladné prověřování všech komponent a pravidelné bezpečnostní audity.

4. LLM04: Data and Model Poisoning

  • Popis: Manipulace s daty pro předtrénování vede k tomu, že LLM generuje nesprávné nebo škodlivé výstupy.
  • Zmírnění: Přísná validace a čištění dat a monitorování anomálií.

5. LLM05: Improper Output Handling

  • Popis: Nedostatečná validace výstupů LLM může zavést zranitelnosti jako XSS nebo RCE do následných systémů.
  • Zmírnění: Důkladná validace a sanitizace všech výstupů LLM před jejich použitím.

6. LLM06: Excessive Agency

  • Popis: Nadměrná autonomie LLM může vést k nezamýšleným nebo škodlivým akcím v reálném světě.
  • Zmírnění: Přísné řízení oprávnění, omezení přístupu a lidské schvalování kritických akcí.

7. LLM07: System Prompt Leakage

  • Popis: Únik interního systémového promptu LLM, který obsahuje citlivé instrukce nebo logiku.
  • Zmírnění: Oddělení systémových promptů od uživatelských vstupů a šifrování citlivých promptů.

8. LLM08: Vector and Embedding Weaknesses

  • Popis: Slabiny v numerických reprezentacích dat (vektorech) mohou vést k útokům na odvození dat nebo manipulaci s modelem.
  • Zmírnění: Používání robustních a ověřených metod vkládání a šifrování vektorových dat.

9. LLM09: Misinformation

  • Popis: Dezinformace generované LLM (halucinace) vedou k nesprávným rozhodnutím nebo poškození pověsti.
  • Zmírnění: Implementace mechanismů pro ověřování faktů a lidské ověření pro kritická rozhodnutí.

10. LLM10: Unbounded Consumption

  • Popis: LLM spotřebovává nadměrné množství výpočetních zdrojů, což může vést k odepření služby nebo neočekávaným nákladům.
  • Zmírnění: Implementace kvót zdrojů, monitorování spotřeby a optimalizace promptů.

Závěr: Lidský dohled je nezbytný

Seznam OWASP Top 10 jasně ukazuje, že zabezpečení AI aplikací přesahuje pouhé skenování generovaného kódu a vyžaduje širší, integrovanější bezpečnostní strategii. Lidský dohled je nezbytný. AI je sice výkonný nástroj, ale není náhradou za lidskou inteligenci a kritické myšlení. Čas ušetřený AI by měl být strategicky investován do důkladných bezpečnostních kontrol a architektonického návrhu, aby byla zajištěna kvalita a bezpečnost softwaru.

Zdroj: OWASP Top 10 for Large Language Model Applications