Generative KI nach Maß: eigene Daten integrieren, LLMs lokal betreiben, Multi-Agenten-Systeme entwickeln

Vorgefertigte Sprachmodelle wie ChatGPT, Mistral oder Gemini stoßen beim Einsatz im Unternehmen schnell an ihre Grenzen. Daher sind maßgeschneiderte Anwendungen erforderlich, um LLMs effizient und sicher in die Prozesse von Firmen zu integrieren.

Nach Abschluss des fünftägigen Workshops können Sie:

• große Sprachmodelle mit Feintuning und Modellpersonalisierung gezielt an die individuellen Anforderungen Ihres Unternehmens anpassen

• eigene Daten durch Finetuning und Retrieval-Augmented Generation in Sprachmodelle integrieren

• Datenschutz- und Compliance-Anforderungen erfüllen und so Sprachmodelle sicher auf eigenen Servern betreiben

• Multi-Agenten-Systeme entwickeln, die automatisierte Aufgaben übernehmen, sich flexibel anpassen und Workflows in Ihrem Unternehmen effizienter gestalten

Inhalte

In diesem praxisorientierten Workshop erhalten Sie das nötige Wissen, um eigene LLM-Lösungen zu entwickeln, die auf die spezifischen Anforderungen Ihres Unternehmens zugeschnitten sind. Dabei lernen Sie Techniken kennen, mit denen große Sprachmodelle auf lokalen Rechnern oder sicheren Plattformen betrieben werden können, um Datenschutzanforderungen zu erfüllen.

Ein weiterer Schwerpunkt des Workshops ist die Integration von Multi-Agenten-Systemen, die Prozesse automatisieren und die Effizienz im Unternehmen steigern können. Ebenfalls erhalten Sie einen Überblick über Modelle und Plattformen wie Ollama und LM-Studio. Zusätzlich lernen Sie anhand einer detaillierten Schritt-für-Schritt-Anleitung, wie Sie Ollama auf Ihrem Rechner installieren, einrichten und verwenden.

Weiterhin bekommen Sie in praktischen Übungen einen Einblick, wie sich Modelle durch Quantisierung und Feintuning optimieren lassen. Außerdem lernen SIe, wie Sie Retrieval-Augmented Generation (RAG) einsetzen können, um präzisere und kontextbezogene Antworten zu generieren. Abschließend wenden Sie die Inhalte eigenständig an und entwickeln einen Anwendungsfall, den Sie in Ihrer beruflichen Praxis nutzen können.

Themen in der Übersicht

• 1. Arbeitsweise großer Sprachmodelle verstehen und LLMs personalisieren

  • Sprachmodelle, sowie deren Architektur und Funktionsweise kennenlernen

  • Unterschiede zwischen generischen und spezialisierten Modellen nachvollziehen

  • Feintuning, Prompt Engineering und Parameter-Effizienztechniken (PEFT, LoRA) kennenlernen

  • Sprachmodell auf einer Beispiel-Domäne mit Hugging Face feintunen

  • Ausgabe mit Prompts für spezifische Aufgaben optimieren

• 2. eigene Daten mit Retrieval Augmented Generation (RAG) in LLMs integrieren

  • Sprachmodelle mit eigenen Wissensquellen erweitern

  • Aufbau von Vektordatenbanken und deren Einsatz mit LLMs verstehen

  • Advanced RAG: Retrieval-Strategien zur kontextsensitiven und präzisen Antwortgenerierung optimieren (z. B. Hyde, Fusion-RAG, Re-Ranking)

  • Multi-Modal RAG: Texte und PDFs mit Tabellen und Bildern verarbeiten, um multi-modale Informationsquellen für LLMs nutzbar zu machen (z. B. Unstructured)

  • Tools wie LangChain, ChromaDB oder Pinecone kennenlernen und verwenden

  • Vektordatenbank aufbauen und an ein LLM anbinden

  • Frage-Antwort-Anwendung auf Basis eigener Dokumente implementieren

• 3. große Sprachmodelle lokal installieren und betreiben

  • Vorteile der lokalen Nutzung nachvollziehen: Datenschutz, Kostenkontrolle und Flexibilität

  • Tools und Frameworks für lokale LLMs (z. B. Ollama, LM-Studio) kennenlernen

  • Hardwareanforderungen und Optimierungsmöglichkeiten für lokale Deployments

  • lokales LLM auf dem eigenen Rechner oder Server installieren

  • Cloud- und lokalen Modellen anhand von Praxisbeispielen vergleichen

• 4. LLMs mit Multi-Agenten-Systeme automatisieren

  • Funktionsweise von Multi-Agenten-Systemen verstehen

  • Anwendungsfälle von Multi-Agenten-Systemen kennenlernen: Arbeitsprozesse, Kommunikation und Datenanalyse automatisieren

  • Multi-Agenten-Frameworks (z. B. LangChain-Agenten, LangGraph) technisch durchdringen

  • Multi-Agenten-System erstellen, das eine Aufgabe autonom priorisiert und ausführt (z. B. E-Mail-Sortierung, Berichtsanalyse, Auftragsabwicklung, Kundensupport).

  • Interaktion zwischen mehreren Agenten testen

• 5. in die Zukunft großer Sprachmodelle blicken

  • Überblick über aktuelle Trends und zukünftige Entwicklungen bei LLMs (z. B. Autonome Agenten, RLHF, neue Modellarchitekturen (z.B. xLSTMs)

Zielgruppe

• KI-Experten und Data Scientists, die proprietäre Daten im Unternehmen KI-gestützt analysieren und nutzen wollen

• Softwareentwickler und ML-Engineers, die LLMs durch Feintuning, RAG oder Multi-Agenten-Techniken optimieren und für spezifische Anforderungen im Unternehmen konfigurieren möchten

• IT- und Innovationsverantwortliche, die LLMs in ihrem Unternehmen lokal und sicher betreiben wollen (z. B. mit Ollama)

Voraussetzungen

Vorkenntnisse

• Kenntnisse in Python (z. B. Datenverarbeitung mit Pandas, TensorFlow und PyTorch)

• Erfahrungen mit Machine Learning oder Natural Language Processing

technische Voraussetzungen

• Computer mit mindestens 8 GB Arbeitsspeicher

• Google-Konto, um Google Colab zu nutzen, zusätzlich empfohlen: kostenpflichtiger Google Colab Pro+ Account (Colab Paid Services Pricing)

• Python 3.9 oder höher

• zentrale Bibliotheken wie Hugging Face Transformers, LangChain, ChromaDB, Pinecone, FAISS

Leistungen Ihres Workshoptickets

• Sie erhalten Ihre Schulungsunterlagen in digitaler Form. So können Sie selbst entscheiden, ob Sie diese elektronisch bearbeiten und archivieren oder lieber ausdrucken möchten.

• Mit der Teilnahmebescheinigung unterstreichen Sie Ihr Weiterbildungsengagement und verbessern Ihre Perspektiven für interne Karriereschritte oder neue berufliche Wege.

Durchführung

• Sie nehmen über Zoom am Workshop teil, wobei die Verbindung über einen lokal gehosteten, DSGVO-konformen On-Premises-Connector erfolgt.

• Im Workshop nutzen SIe Google Colab für cloudbasierte Übungen, lokale Tests erfolgen mit Ollama.

• Um einen intensiven Austausch zwischen dem Trainer und den Teilnehmenden zu gewährleisten, erfolgt der Workshop in Gruppen von höchstens 16 Personen.

• Sollte die Durchführung der Veranstaltung aufgrund höherer Gewalt, der Verhinderung eines Referenten, von Störungen am Veranstaltungsort oder wegen zu geringer Teilnehmerzahl nicht möglich sein, werden die Teilnehmenden so früh wie möglich informiert.