OWASP Top 10 für LLM – Sprachmodelle und KI-Agenten sicher implementieren

• Du vollziehst Prompt Injections und Jailbreaks praktisch nach.

• Du kannst eine Verteidigung-in-der-Tiefe-Strategie für KI-Anwendungen entwerfen, die auf externen Sicherheitsmaßnahmen (Guardrails) aufbaut.

• Du setzt automatisierte (Red-Teaming-)Tools ein, um die Sicherheit deiner KI-Anwendungen zu testen.

Unser Experte demonstriert praktisch, wie Prompt Injection und Jailbreaking funktionieren und welche Schäden diese Angriffe verursachen. Du lernst die OWASP Top 10 for LLM and Agentic Applications kennen und verstehst, worauf du bei der Nutzung von LLMs besonders achten solltest.

Du lernst das Konzept "Sicherheit außerhalb des Modells" kennen: Du erfährst, warum du einem Sprachmodell nie vertrauen darfst und wie externe Leitplanken (Guardrails) schützen, darunter Eingabe- und Ausgabefilter. Dafür lernst du Red-Teaming-Werkzeuge kennen, mit denen du deine KI-Anwendungen einem Stresstest unterziehst. Unser Experte geht dabei auch auf Frameworks zur Risikobewertung ein, etwa das AI Vulnerability Scoring System (AIVSS).

Zielgruppe

Administratoren und IT-Sicherheitsverantwortliche, die verstehen wollen, wie generative KI die Bedrohungslage verändert. Personen die, LLM-Systeme sicher bereitstellen und durch KI-Werkzeuge Zeit gewinnen wollen.

Voraussetzungen

Grundlegendes Verständnis von IT-Sicherheit, Netzwerken, Webtechnologien sowie der Arbeit auf der Kommandozeile werden vorausgesetzt. Vorerfahrungen mit ChatGPT oder Cloud-Umgebungen erleichtern den Einstieg, sind aber nicht notwendig.

Agenda

• "Tödliche Dreierkombination" von Fähigkeiten nach Simon Willison: Zugriff auf unternehmensinterne Daten, Kontakt mit nicht vertrauenswürdigen Inhalten und die Fähigkeit, extern zu kommunizieren

• Bedrohungsmodellierung von und Angriffe auf Sprachmodelle, Chatbots und Agenten: Von Prompt Injection bis Insecure Output Handling

• OWASP Top 10 for Large Language Model Applications, Agentic Applications, weitere OWASP-Ressourcen und MITRE ATLAS

• Jailbreaking und Red Teaming: Wie man KI-Modelle knackt und welche Tools dabei helfen, Lücken zu finden

• Datenschutz beim Einsatz von KI-Anwendungen, die Drittanbieter entwickelt haben (z. B. Browser-Erweiterungen)

• Angriffe auf das Model Context Protocol (MCP)

• Sicherheit außerhalb des Modells: Warum Leitplanken (Guardrails) wie NeMo und Llama Guard wichtiger sind als das Modelltraining selbst

• Frameworks zum sicheren Einsatz, etwa Googles Secure AI Framework (SAIF)

• Einführung in das AI Vulnerability Scoring System (AIVSS) und Risikomanagement

• Absichtlich verwundbare KI-Umgebungen