Große Sprachmodelle feintunen und einsetzen

Dieser Workshop ermöglicht Ihnen einen fundierten Einstieg in das Feintunen von großen Sprachmodellen (LLM) für eigene Einsatzzwecke. Zudem erhalten Sie einen Überblick über aktuelle Deep-Learning-Lösungen (Open Source und proprietär) auf dem Markt.

Inhalte

• 1. Tag

  • Meilensteine der Künstlichen Intelligenz

  • Sicherheit und Datenschutz

    • Risiken durch Künstliche Intelligenz

    • Cybersecurity und Künstliche Intelligenz

    • Datenschutz und Urheberrecht

    • KI on-premise vs. KI in der Cloud

  • Grundlagen von Machine Learning / Deep Learning

    • Funktionsweise von künstlichen neuronalen Netzen

    • Machine-Learning-Architekturen

    • Funktionsweise von großen Sprachmodellen auf Basis der Transformer-Architektur

    • Training der großen Sprachmodelle

  • Anwendungsbereiche für Machine Learning

    • Die großen Sprach- und Bildmodelle, wie ChatGPT, Llama und Stable Diffusion

    • Gefahren und Risiken von Deep Learning Modellen

    • Einführung in PyTorch

• 2. Tag

  • Tokenizers

    • Tokenizer Types

    • Character-level tokenizers

    • Other tokenizers

  • Embeddings

    • Embeddings vectors

    • Embeddings implementation (from scratch)

  • Pytorch & Erstellen eines LLM von null auf (Durchführung in Google Colab)

    • Tensor statt Arrays

    • Lineare Algebra

    • Inputs und Targets

    • Batch size

    • CPU/CUDA

    • CPU VS GPU Leistungsvergleich

    • Dot product

    • Matrix Multiplikation

    • Pytorch nnModule

    • Gradient Descent

    • Optimizer Erklärung

    • Optimizer Implementierung

    • Loss Function

    • ReLU, Tanh, Sigmoid Activations

    • Transformer und Self-Attention

    • Transformer Architecture

    • Multihead Attention und Dot product Attention

    • Train/Test split

    • Model Pickling

    • Training

  • Hands-On PyTorch mit einem Modell für die Bilderkennung

• 3. Tag (Hands on)

  • Übersicht über die Open-Source-Plattform für KI Hugging Face

  • Übersicht über pretrained models

  • Token classification - Daten anonymisieren

  • Text classification - Stimmung von Personen erkennen

  • Text summarization - Übersichten über einen Text erstellen

  • Sentence similarity - Standard-Chatbot-Anwendungen verbessern

  • Vektor-Speicherarchitektur

  • Wie kombiniert man ein LLM mit Vektorspeicherdatenbank

  • LLM-Feinabstimmung für spezifische Aufgaben

Themen in der Übersicht

• Einführung in das Deep Learning Framework PyTorch (mit Praxisübungen)

• Einführung in große Sprachmodelle und Bilderkennungsmodelle

• Training eines Modells für die Bilderkennung

• Training eines großen Sprachmodells from scratch mittels eines Demo Use-Case

• Feintuning eines großen Sprachmodells und weitere Trainingsmöglichkeiten wie Reinforcement Learning from Human Feedback (RLHF)

• Nutzung von vortrainierten Modellen, die die KI-Plattform Hugging Face bereitstellt

• Möglichkeiten und Risiken von Deep-Learning-Modellen

Zielgruppe

Der Workshop richtet sich an IT-Fachkräfte, die einen einfachen, aber gediegenen Einstieg in die Welt des maschinellen Lernens suchen und sich mit aktuellen Deep-Learning-Technologien wie großen Sprachmodellen auseinandersetzen möchten.

Voraussetzungen

Sie sollten ein gutes Verständnis aktueller IT-Technologien, sowie praktische Erfahrung mit IT-Systemen im Unternehmenseinsatz mitbringen. Auch sollten Sie über grundlegende Programmierkenntnisse in Python verfügen.

Für den Online-Workshop verwenden wir einen Remote-Classroom von unserem Trainings-Partner B1 Systems. Alles, was Sie dafür benötigen, ist ein Mikrofon oder Headset und einen aktuellen Browser (Firefox/ Chrome).

Leistungen Ihres Workshoptickets

• Workshopunterlagen

• Teilnahmebescheinigung

Durchführung

Ist die Durchführung der Veranstaltung aufgrund höherer Gewalt, wegen Verhinderung eines Referenten, wegen Störungen am Veranstaltungsort oder aufgrund zu geringer Teilnehmerzahl nicht möglich, werden die Teilnehmenden frühestmöglich informiert.

Die Teilnehmerzahl ist auf max. 12 Personen begrenzt.