Natural Language Processing mit Python

In diesem Kurs lernst du, natürlichsprachige Textdokumente automatisch zu analysieren. Dazu nutzt du linguistische Analysen, Inhalts- und Metadatenstatistiken sowie die Vektorisierung von Dokumenten, um moderne Verfahren des maschinellen Lernens (ML) kennenzulernen. Du lernst die Unterschiede zwischen überwachten und unüberwachten Verfahren kennen. Mit semantischen Methoden wirst du Wortähnlichkeiten erkennen. Du nutzt die erst in den letzten Jahren erforschten Sprachmodelle und das Transfer Learning, um Fragen zu Texten automatisch zu beantworten und Texte generieren zu lassen.

Du selbst arbeitest interaktiv: An über 60 Jupyter-Notebooks kannst du alle Übungen direkt ausprobieren und nachvollziehen – in einer lokalen Installation oder im Google Colab. So hast du am Ende nicht nur jede Menge Know-how gesammelt, sondern weißt auch genau, wie du dein neues Wissen in der Praxis anwenden kannst.

Alle Video-Lektionen im Überblick:

• 1. Grundlagen, Einführung und Einrichtung

  • Herzlich willkommen zu diesem Kurs

  • Intro

  • Warum sollte ich Natural Language Processing lernen?

  • Was ist Natural Language Processing?

  • Aufbau des Kurses

  • Python und Jupyter als Plattform nutzen

  • Einfache Installation mit Anaconda

  • Alternative: Google Colab

  • Erste Schritt mit Jupyter/Colab

  • Überblick über Basis-Tools: Pandas

  • Überblick über Basis-Tools: Spacy, Textacy

  • Überblick über Basis-Tools: Scikit-learn

  • Überblick über Basis-Tools: Gensim und Tools für Spezialaufgaben

  • Wissenstest

• 2. Akquirieren und Extrahieren der Daten

  • Intro

  • Daten finden

  • Einzelne Dateien herunterladen

  • Unterschiedliche Dateiformate

  • Struktur von HTML-Inhalten

  • Extraktion von HTML-Inhalten

  • Persistieren von Inhalten

  • Praxis: URLs generieren und herunterladen

  • Praxis: Dateien herunterladen und extrahieren

  • Wissenstest

• 3. Vorbereiten der Daten

  • Intro

  • Data Cleaning

  • Erklärung Tokenisierung

  • Tokenisierung mit regexp

  • Tokenisierung mit nltk und spaCy

  • Bestimmung von Landessprachen

  • Linguistische Analyse (Part-of-speech)

  • Bestimmung von Wortarten

  • Dependency Tree

  • Named Entity Recognition

  • Wissenstest

• 4. Textstatistik

  • Intro

  • Einführung Textacy

  • Beispiel: Synonyme

  • Bestimmung von Textlängen

  • Linguistische Analyse und Persistenz

  • Worthäufigkeiten und Anzeige von Wordclouds

  • Co-Occurrence und Keywords in Context (KWIC)

  • Nutzung von Meta-Informationen

  • Kombination von Text- und Metainformationen

  • Komplexitätsmaße

  • Wissenstest

• 5. Features und Vektorisierung

  • Intro

  • Vorbereitungen für das Machine Learning

  • Erklärung Features

  • Bag-of-Words-Vektorisierung

  • Anzahl Features und Skalierung

  • Bag-of-words vs. TF/IDF

  • Ähnlichkeitsmaße

  • Wissenstest

• 6. Topic-Modelle und Clustering

  • Intro

  • Erklärung Machine Learning-Algorithmen (unüberwacht)

  • Erklärung Topic Models

  • Berechnung NMF

  • Berechnung LDA

  • Visualisierung mit pyLDAvis

  • Andere Verfahren, Unterschiede und Gemeinsamkeiten

  • Coherence Scores

  • Zeitevolution

  • Clustering und Unterschied zu Topic Models

  • Wissenstest

• 7. Klassifikation mit klassischem überwachtem Machine Learning

  • Intro

  • Erklärung überwachtes Lernen

  • Trainingsdaten

  • Klassifikation mit Support Vector Machine

  • Andere Klassifikatoren

  • Testdaten und Confusion Matrix

  • Accuracy, Precision und Recall

  • Cross-Validation und Hold-Out-Verfahren

  • Hyperparameter und Grid-Search

  • Wissenstest

• 8. Word Embeddings

  • Intro

  • Embeddings und Ähnlichkeitsmaß für Wörter

  • Word Embeddings: word2vec

  • Alternativen: fastText und gloVe

  • Unterschiede der Verfahren anhand der Ergebnisse erklären

  • Nutzung vortrainierter Modelle

  • Semantische Transformation und doc2vec

  • Wissenstest

• 9. Transfer Learning und Question Answering

  • Intro

  • Einführung Transfer-Learning-Modelle

  • Berechnung von Embeddings und Klassifikation

  • Klassifikationsproblem aus vorherigem Kapitel mit BERT

  • Klassifikationsproblem aus vorherigem Kapitel mit BERT Teil 2

  • Vergleich Qualität und Rechenzeit mit SVM

  • Andere Sprachmodelle (dbmz)

  • Question Answering mit Heise und Wikipedia

  • Kaskadiertes Modell (Information Retrieval + Question Answering)

  • Textgenerierung

  • Wissenstest

  • Fazit und Kursabschluss

So lernst du mit diesem Videokurs:

In den Videokursen der heise academy lernst du IT-Themen anschaulich und verständlich. Du siehst den Experten bei der praktischen Arbeit zu und lässt dir dabei alles genau erklären. Das Wissen ist in kompakte Lerneinheiten unterteilt, sodass du den Kurs Schritt für Schritt durcharbeiten oder gezielt zu Lektionen springen kannst, die dich interessieren. Die persönliche Lernumgebung der heise academy hält viele Funktionen für dich bereit, die dich beim Lernen unterstützen:

• Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten

• Wissensquizzes zur Lernkontrolle

• Lernhistorie und Lernfortschritt

• Lesezeichen und Notizen 

• Volltextsuche in den Videos

• Frage-den-Experten-Modul

• Übungsmaterial zum Mitmachen

• Responsive Web-App und Videostreaming für alle Endgeräte

Technische Voraussetzungen:

Für diesen Videokurs wird lediglich ein Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.