Große Sprachmodelle feintunen und einsetzen

Dieser Workshop ermöglicht Ihnen einen fundierten Einstieg in das Feintunen von großen Sprachmodellen (LLM) für eigene Einsatzzwecke. Zudem erhalten Sie einen Überblick über aktuelle Deep-Learning-Lösungen (Open Source und proprietär) auf dem Markt.

Inhalte

• 1. Tag

  • Meilensteine der Künstlichen Intelligenz

  • Sicherheit und Datenschutz

    • Risiken durch Künstliche Intelligenz

    • Cybersecurity und Künstliche Intelligenz

    • Datenschutz und Urheberrecht

    • KI on-premise vs. KI in der Cloud

  • Grundlagen von Machine Learning / Deep Learning

    • Funktionsweise von künstlichen neuronalen Netzen

    • Machine-Learning-Architekturen

    • Funktionsweise von großen Sprachmodellen auf Basis der Transformer-Architektur

    • Training der großen Sprachmodelle

  • Anwendungsbereiche für Machine Learning

    • Die großen Sprach- und Bildmodelle, wie ChatGPT, Llama und Stable Diffusion

    • Gefahren und Risiken von Deep Learning Modellen

    • Einführung in PyTorch

• 2. Tag

  • Tokenizers

    • Tokenizer Types

    • Character-level tokenizers

    • Other tokenizers

  • Embeddings

    • Embeddings vectors

    • Embeddings implementation (from scratch)

  • Pytorch & Erstellen eines LLM von null auf (Durchführung in Google Colab)

    • Tensor statt Arrays

    • Lineare Algebra

    • Inputs und Targets

    • Batch size

    • CPU/CUDA

    • CPU VS GPU Leistungsvergleich

    • Dot product

    • Matrix Multiplikation

    • Pytorch nnModule

    • Gradient Descent

    • Optimizer Erklärung

    • Optimizer Implementierung

    • Loss Function

    • ReLU, Tanh, Sigmoid Activations

    • Transformer und Self-Attention

    • Transformer Architecture

    • Multihead Attention und Dot product Attention

    • Train/Test split

    • Model Pickling

    • Training

  • Hands-On PyTorch mit einem Modell für die Bilderkennung

• 3. Tag (Hands on)

  • Übersicht über die Open-Source-Plattform für KI Hugging Face

  • Übersicht über pretrained models

  • Token classification - Daten anonymisieren

  • Text classification - Stimmung von Personen erkennen

  • Text summarization - Übersichten über einen Text erstellen

  • Sentence similarity - Standard-Chatbot-Anwendungen verbessern

  • Vektor-Speicherarchitektur

  • Wie kombiniert man ein LLM mit Vektorspeicherdatenbank

  • LLM-Feinabstimmung für spezifische Aufgaben

Themen in der Übersicht

• Einführung in das Deep Learning Framework PyTorch (mit Praxisübungen)

• Einführung in große Sprachmodelle und Bilderkennungsmodelle

• Training eines Modells für die Bilderkennung

• Training eines großen Sprachmodells from scratch mittels eines Demo Use-Case

• Feintuning eines großen Sprachmodells und weitere Trainingsmöglichkeiten wie Reinforcement Learning from Human Feedback (RLHF)

• Nutzung von vortrainierten Modellen, die die KI-Plattform Hugging Face bereitstellt

• Möglichkeiten und Risiken von Deep-Learning-Modellen

Zielgruppe

Der Workshop richtet sich an IT-Fachkräfte, die einen einfachen, aber gediegenen Einstieg in die Welt des maschinellen Lernens suchen und sich mit aktuellen Deep-Learning-Technologien wie großen Sprachmodellen auseinandersetzen möchten.

Voraussetzungen

Sie sollten ein gutes Verständnis aktueller IT-Technologien, sowie praktische Erfahrung mit IT-Systemen im Unternehmenseinsatz mitbringen. Auch sollten Sie über grundlegende Programmierkenntnisse in Python verfügen.

Für den Online-Workshop verwenden wir einen Remote-Classroom von unserem Trainings-Partner B1 Systems. Alles, was Sie dafür benötigen, ist ein Mikrofon oder Headset und einen aktuellen Browser (Firefox/ Chrome).

Leistungen Ihres Workshoptickets

• Workshopunterlagen

• Teilnahmebescheinigung

Durchführung

Ist die Durchführung der Veranstaltung aufgrund höherer Gewalt, wegen Verhinderung eines Referenten, wegen Störungen am Veranstaltungsort oder aufgrund zu geringer Teilnehmerzahl (weniger als 50%) nicht möglich, werden die Teilnehmer spätestens 7 Tage vorher informiert.

Die Teilnehmerzahl ist auf max. 12 Personen begrenzt.