PySpark – Teil 1: Spark-Grundlagen und Datenmanipulation

PySpark bietet eine Schnittstelle für die Nutzung von Apache Spark in Python. Es vereint die Performanz von Apache Spark mit der Flexibilität von Python und erleichtert damit die Abfrage, Verarbeitung und Auswertung großer Datenmengen.

In diesem Kurs erhältst du einen fundierten Einstieg in die Arbeit mit PySpark. Nach einer theoretischen Einführung in Big Data und die Architektur von Spark lernst du zentrale Konzepte wie SparkContext und SparkSession kennen. Anschließend arbeitest du mit den grundlegenden Datenstrukturen in PySpark, den Resilient Distributed Datasets (RDDs) sowie den Spark DataFrames, und setzt Spark SQL gezielt für effiziente Datenabfragen ein. Praktische Übungen helfen dir dabei, das Gelernte zu festigen und anzuwenden.

Dieser Kurs gehört zu einer Kursreihe:

• PySpark – Teil 1: Spark-Grundlagen und Datenmanipulation

• PySpark – Teil 2: Datenverarbeitung mit PySpark DataFrames (erscheint in Kürze)

• PySpark – Teil 3: Datenverarbeitung mit Spark SQL (erscheint in Kürze)

• PySpark – Teil 4: Machine Learning mit Spark MLlib (erscheint in Kürze)
  

Alle Lektionen im Überblick:

• Vorstellung und Infos zum Kurs

  • Herzlich willkommen zu diesem Kurs

• Einführung und Vorbereitung

  • Kapitelüberblick

  • Theorie: Was ist Big Data?

  • Theorie: Herausforderungen bei der Arbeit mit großen Datenmengen

  • Theorie: Big Data Tools

  • Theorie: Einführung in Apache Spark und seine Architektur

  • Größe einer Excel-Tabelle in der Analyse

  • Installation der Entwicklungsumgebung mit Jupyter Labs

  • Einrichtung von PySpark mit Jupyter Labs

  • Quiz: Einführung und Vorbereitung

• Grundlegende Konzepte und Datenstrukturen in PySpark

  • Kapitelüberblick

  • Theorie: SparkContext und SparkSession

  • SparkContext und SparkSession

  • Theorie: Grundlegende Datenstrukturen in PySpark

  • Spark-Cluster-Komponenten im Überblick

  • PySpark-Datenstrukturen: Resilient Distributed Datasets (RDDs)

  • PySpark-Datenstrukturen: Spark DataFrames

  • Spark SQL als SQL-Schnittstelle für die Interaktion mit DataFrames

  • Quiz: Grundlegende Konzepte und Datenstrukturen in PySpark

• Abschluss

  • Fazit und Kursabschluss

So lernst du mit diesem Videokurs:

In den Videokursen der heise academy lernst du IT-Themen anschaulich und verständlich. Du siehst den Experten bei der praktischen Arbeit zu und lässt dir dabei alles genau erklären. Das Wissen ist in kompakte Lerneinheiten unterteilt, sodass du den Kurs Schritt für Schritt durcharbeiten oder gezielt zu Lektionen springen kannst, die dich interessieren. Die persönliche Lernumgebung der heise academy hält viele Funktionen für dich bereit, die dich beim Lernen unterstützen:

• Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten

• Wissensquiz zur Lernkontrolle

• Lernhistorie und Lernfortschritt

• Lesezeichen und Notizen

• Volltextsuche in den Videos

• Frage-den-Experten-Modul

• Übungsmaterial zum Mitmachen

• Responsive Web-App und Videostreaming für alle Endgeräte

Technische Voraussetzungen:

Für diesen Videokurs werden lediglich ein Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.