PySpark – Teil 1: Spark-Grundlagen und Datenmanipulation

INHALT

PySpark bietet eine Schnittstelle für die Nutzung von Apache Spark in Python. Es vereint die Performanz von Apache Spark mit der Flexibilität von Python und erleichtert damit die Abfrage, Verarbeitung und Auswertung großer Datenmengen.

In diesem Kurs erhältst du einen fundierten Einstieg in die Arbeit mit PySpark. Nach einer theoretischen Einführung in Big Data und die Architektur von Spark lernst du zentrale Konzepte wie SparkContext und SparkSession kennen. Anschließend arbeitest du mit den grundlegenden Datenstrukturen in PySpark, den Resilient Distributed Datasets (RDDs) sowie den Spark DataFrames, und setzt Spark SQL gezielt für effiziente Datenabfragen ein. Praktische Übungen helfen dir dabei, das Gelernte zu festigen und anzuwenden.

Dieser Kurs gehört zu einer Kursreihe:

• PySpark – Teil 1: Spark-Grundlagen und Datenmanipulation
• PySpark – Teil 2: Datenverarbeitung mit PySpark DataFrames
• PySpark – Teil 3: Datenverarbeitung mit Spark SQL
• PySpark – Teil 4: Machine Learning mit Spark MLlib

SO LERNST DU MIT DIESEM KURS

In den Videokursen der heise academy lernst du IT-Themen anschaulich und verständlich. Du siehst den Experten bei der praktischen Arbeit zu und lässt dir dabei alles genau erklären. Das Wissen ist in kompakte Lerneinheiten unterteilt, sodass du den Kurs Schritt für Schritt durcharbeiten oder gezielt zu Lektionen springen kannst, die dich interessieren. Die persönliche Lernumgebung der heise academy hält viele Funktionen für dich bereit, die dich beim Lernen unterstützen:

• Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten
• Wissensquiz zur Lernkontrolle
• Lernhistorie und Lernfortschritt
• Lesezeichen und Notizen
• Volltextsuche in den Videos
• Übungsmaterial zum Mitmachen
• Responsive Web-App und Videostreaming für alle Endgeräte

TECHNISCHE VORAUSSETZUNGEN

Für diesen Videokurs wird lediglich ein aktueller Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.