Deep Learning – Teil 3: Textverarbeitung

Der dritte Teil unserer Deep-Learning-Kursserie widmet sich der Verarbeitung von Sprache und Text mit modernen neuronalen Netzarchitekturen. Im Zentrum stehen dabei Transformer-Modelle, die heute das Rückgrat vieler Anwendungen im Bereich Natural Language Processing (NLP) bilden – von Chatbots bis hin zu automatischer Übersetzung.

Du lernst, wie Wörter mithilfe von Word Embedding in mathematische Vektoren überführt werden und damit semantische Zusammenhänge in Texten abgebildet werden können. Darauf aufbauend steigst du in die Welt der Transformer ein – eine der bedeutendsten Entwicklungen im Deep Learning.

Der Kurs erläutert sowohl Decoder-Only-Transformer, die zur Texterzeugung verwendet werden, als auch Encoder-Decoder-Transformer, die typischerweise für Aufgaben wie maschinelle Übersetzung eingesetzt werden. Du erfährst, wie diese Modelle strukturiert sind, wie sie trainiert werden und wie ihre verschiedenen Komponenten – wie Attention-Mechanismen, Layer Normalization und Feedforward-Blöcke – zusammenspielen.

Wie in den vorherigen Kursen liegt auch hier der Fokus auf Praxisnähe: Mit zahlreichen Übungen, Codebeispielen und zwei begleitenden Projekten wendest du die Theorie auf reale NLP-Aufgaben an.

Alle Video-Lektionen im Überblick:

• 1. Vorstellung und Kursüberblick

  • Herzlich willkommen zu diesem Kurs

• 2. Einführung in Transformer-Modelle

  • Kapitelüberblick

  • Hauptarten von Transformer-Modellen

  • Word-Embedding für Transformer-Modelle

  • Vorhersagen eines Decoder-Only-Transformers

  • Textdaten in Python importieren

  • Input- und Output-Tokens erstellen

  • Definition der Decoder-Komponenten

  • Decoder-Only-Transformer trainieren und bewerten

  • Quiz: Einführung in Transformer-Modelle

• 3. Projekt 8 – Trainiere dein eigenes Large Language Model (LLM)

  • Kapitelüberblick

  • Projektvorlage in Python

  • Projektlösung in Python

• 4. Transformer-Modelle – Vertiefung

  • Kapitelüberblick

  • Encoder-Decoder-Transformer – Intuition

  • Übersetzte Texte in Python importieren

  • Definition der Encoder-Komponenten

  • Definition der Decoder-Komponenten

  • Encoder-Decoder-Transformer trainieren und bewerten

  • Quiz: Transformer-Modelle – Vertiefung

• 5. Projekt 9 – KI-gestützte Textübersetzung

  • Kapitelüberblick

  • Projektvorlage in Python

  • Projektlösung in Python

• 6. Abschluss

  • Fazit und Kursabschluss

So lernst du mit diesem Videokurs:

In den Videokursen der heise academy lernst du IT-Themen anschaulich und verständlich. Du siehst den Experten bei der praktischen Arbeit zu und lässt dir dabei alles genau erklären. Das Wissen ist in kompakte Lerneinheiten unterteilt, sodass du den Kurs Schritt für Schritt durcharbeiten oder gezielt zu Lektionen springen kannst, die dich interessieren. Die persönliche Lernumgebung der heise academy hält viele Funktionen für dich bereit, die dich beim Lernen unterstützen:

• Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten

• Wissensquiz zur Lernkontrolle

• Lernhistorie und Lernfortschritt

• Lesezeichen und Notizen

• Volltextsuche in den Videos

• Frage-den-Experten-Modul

• Übungsmaterial zum Mitmachen

• Responsive Web-App und Videostreaming für alle Endgeräte

Technische Voraussetzungen:

Für diesen Videokurs werden lediglich ein Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.