LERNZIELE
- Du kannst PySpark-DataFrames erstellen und über Schemas Datentypen definieren
- Du beherrschst grundlegende DataFrames-Operationen, wie Filterungen und Sortierungen
- Du führst Aggregationen und Pivot-Operationen zur Datenaufbereitung durch
- Du lernst, mit Text-, Datums- und Zeitfunktionen sowie fehlenden Daten umzugehen
- Du weißt, wie du DataFrames über die Join- und Union-Methode kombinierst
- Du setzt Window-Funktionen für komplexe Analysen ein
INHALT
PySpark bietet eine Schnittstelle für die Nutzung von Apache Spark in Python. Es vereint die Performanz von Apache Spark mit der Flexibilität von Python und erleichtert damit die Abfrage, Verarbeitung und Auswertung großer Datenmengen.
Im zweiten Teil unserer PySpark-Reihe widmen wir uns der Datenverarbeitung mit DataFrames. Zunächst lernst du, wie du DataFrames erstellst und Schemas definierst und worin sich Spark- und Pandas-DataFrames unterscheiden. Danach setzt du zentrale Operationen wie Selektionen, Berechnungen, Filterungen und Sortierungen praktisch um.
Schritt für Schritt erweiterst du anschließend dein Wissen um fortgeschrittene Techniken – von Spaltenbearbeitung, Aggregationen und Gruppierungen über Pivot-Operationen bis hin zu Text-, Datums- und Zeitfunktionen. Zum Schluss erfährst du, wie du DataFrames über Joins oder Mengenoperationen kombinierst und Window-Funktionen für komplexe Analysen nutzt.
Während des gesamten Kurses arbeitest du mit vorbereiteten Beispieldaten und kannst somit das Gelernte direkt in praktische Anwendung überführen und in Übungsaufgaben festigen.
Unsere Kursreihe zu PySpark umfasst folgende Teile:
- PySpark – Teil 1: Spark-Grundlagen und Datenmanipulation
- PySpark – Teil 2: Datenverarbeitung mit PySpark DataFrames
- PySpark – Teil 3: Datenverarbeitung mit Spark SQL
- PySpark – Teil 4: Machine Learning mit Spark MLlib
ALLE LEKTIONEN IM ÜBERBLICK
SO LERNST DU MIT DIESEM KURS
In den Videokursen der heise academy lernst du IT-Themen anschaulich und verständlich. Du siehst den Experten bei der praktischen Arbeit zu und lässt dir dabei alles genau erklären. Das Wissen ist in kompakte Lerneinheiten unterteilt, sodass du den Kurs Schritt für Schritt durcharbeiten oder gezielt zu Lektionen springen kannst, die dich interessieren. Die persönliche Lernumgebung der heise academy hält viele Funktionen für dich bereit, die dich beim Lernen unterstützen:
- Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten
- Wissensquiz zur Lernkontrolle
- Lernhistorie und Lernfortschritt
- Lesezeichen und Notizen
- Volltextsuche in den Videos
- Übungsmaterial zum Mitmachen
- Responsive Web-App und Videostreaming für alle Endgeräte
TECHNISCHE VORAUSSETZUNGEN
Für diesen Videokurs wird lediglich ein aktueller Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.
DEIN EXPERTE
Fabio Basler hat schon zu Beginn seines Studiums eine große Leidenschaft für die Methoden der Statistik und Data Science entwickelt. Über mehrere Semester hinweg konnte er als Tutor zahlreiche Studierende erfolgreich auf ihre Prüfungen und den Berufsalltag vorbereiten. Fabio Basler arbeitet als Datenanalyst in einem großen Industriekonzern. Mit großer Freude am Unterrichten gibt er sein Wissen in Online-Kursen und Seminaren weiter.
PySpark – Teil 2: Datenverarbeitung mit PySpark DataFrames
inkl. MwSt. | 163,87 € netto