Monitoring mit Prometheus und Grafana

Prometheus ist ein weit verbreitetes Open-Source-Produkt zur Verarbeitung von zeitreihenbasierten metrischen Daten. Egal ob es sich um Hardware, Server, Datenbanken oder Infrastrukturkomponenten handelt, mit Prometheus können all diese Daten zusammengeführt und ausgewertet werden. Als grafische Oberfläche ermöglicht die webbasierte Anwendung Grafana die visuelle Darstellung in Dashboards. Für die Umsetzung von aktiven Alarmierungen wird schließlich der Alertmanager im Zusammenspiel mit Prometheus eingesetzt.

Mit diesem Ensemble können auch dynamische Umgebungen effizient überwacht werden. Solche Umgebungen finden sich immer häufiger im Kontext von (Docker-)Containern und Cloud-Umgebungen. Aber auch Geschäftsmetriken, wie z.B. die Anzahl der Einkäufe in einem Webshop, können damit erfasst werden.

In diesem Kurs lernen Sie, wie Sie Infrastruktur und Anwendungen mit Prometheus, Grafana und dem Alert Manager überwachen und auswerten können. IT-Experte Karsten Sitterberg erklärt alle Funktionen Schritt für Schritt anhand von Beispielen. Am Ende des Kurses kennen Sie alle wichtigen Konzepte und Grundlagen für die Umsetzung eines metrikbasierten Monitorings und wissen, wie Sie Prometheus mit Containern betreiben können.

Alle Video-Lektionen im Überblick:

• 1. Einführung und Setup

  • Herzlich willkommen zum Kurs

  • Installation von Prometheus

  • Prometheus und die Verwendung mit Docker

  • Rundgang durch die Prometheus-Web-Oberfläche

  • Vorstellung der Prometheus-Architektur

  • Quiz: Einführung und Setup

• 2. Konfiguration von Prometheus

  • Intro

  • Verwendung der globalen Prometheus-Konfiguration

  • Jobs in der statischen Scrape-Konfiguration verwalten

  • Einführung in die Relabel-Konfiguration

  • Übung: Weiteren Scrape-Job anlegen

  • Lösung zur Übung

  • Scrape-Targets dynamisch per Service-Discovery ermitteln

  • Quiz: Konfiguration von Prometheus

• 3. Prometheus: Datenformat und PromQL

  • Intro

  • Das Prometheus-Datenmodell kennenlernen

  • Ereignisse mit Countern zählen

  • Zustandsänderungen mit Gauges sichtbar machen

  • Werte-Verteilungen im Histogramm erfassen

  • Qantile in Summaries erfassen

  • Mit Labels neue Dimensionen erzeugen

  • Einführung in das Prometheus-Scrape-Format

  • PromQL für Abfragen einsetzen

  • Verwendung von Operatoren

  • Mit Vector Matching mehrere Zeitreihen verarbeiten

  • Zeitreihen zur Auswertung aggregieren

  • Auswertung von Zeitreihen mit Hilfe von Funktionen

  • Mit der HTTP-API auf Prometheus zugreifen

  • Quiz: Prometheus: Datenformat und PromQL

• 4. Daten-Exporter für Prometheus

  • Intro

  • Anpassung fremder Metrik-Formate mittels Exporter

  • Internet-Standard-Dienste mittels Blackbox-Exporter überwachen

  • Server-Metriken mit dem Node-Exporter bereitstellen

  • Entwicklung eines eigenen Exporters am Beispiel von NOAA Sonnenwinddaten

  • Quiz: Daten-Exporter für Prometheus

• 5. Push-Gateway und Alternativen

  • Intro

  • Vorstellung des Push-Gateway für kurzlebige Tasks

  • Push-Gateway mit Docker einrichten

  • Metriken per Push-Gateway anbieten

  • Metriken aus dem Push-Gateway löschen

  • Textfile-Exporter alternativ zum Push-Gateway verwenden

  • Netzwerkgrenzen überwinden mittels PushProx

  • Quiz: Push-Gateway und Alternativen

• 6. Alerting und Alertmanager

  • Intro

  • Schnell auf Fehler reagieren mit Alerting

  • Alerts mit Alerting-Regeln definieren

  • Alerting-Regeln im Setup aktivieren und auslösen

  • Übung: Alerts anlegen und auslösen

  • Lösung zur Übung

  • Alertmanager zur Verwaltung von Alerts starten

  • Email-Server in der globalen Konfiguration hinterlegen

  • Alert-Empfänger in der receiver-config angeben

  • Alerts gruppieren und deduplizieren mittels Routing

  • Den Alertmanager starten und ausprobieren

  • Alerts temporär unterdrücken oder stummschalten

  • Übung: Hochverfügbarkeit mit Alertmanager demonstrieren

  • Lösung zur Übung

  • Quiz: Alerting und Alertmanager

• 7. Einführung in Grafana

  • Intro

  • Einführung in die Konzepte

  • Grafana mit Hilfe von Docker installieren

  • Oberfläche von Grafana kennenlernen

  • Quiz: Einführung in Grafana

• 8. Dashboards mit Grafana

  • Intro

  • Dashboards zu Grafana hinzufügen

  • Grafana mit Datenquellen provisionieren

  • Grafana mit Dashboards provisionieren

  • Übung: Grafana um ein Dashboard erweitern

  • Eigene Grafana-Dashboards zusammenstellen

  • Panels mit Value Mappings verständlich gestalten

  • Übung: Dashboard um eigenes Panel erweitern

  • Lösung zur Übung

  • Panels per Override anpassen

  • Übersicht gewinnen durch Playlists

  • Grafana mit Hilfe von Plugins erweitern

  • Dashboards mit anderen teilen

  • Quiz: Dashboards mit Grafana

• 9. Grafana Alerting und Annotations

  • Intro

  • Dashboards via Templating dynamisch konfigurieren

  • Übung: Templating und Variablen verwenden

  • Grafana-Annotations bei Prometheus-Alerts einblenden

  • Notification-Channel für Grafana-eigene Alerts anlegen

  • Grafana-Alert im Dashboard anlegen

  • Ausblick auf die neue Grafana-8-Alerting-API

  • Quiz: Grafana Alerting und Annotations

• 10. Monitoring: Praktische Beispiele

  • Intro

  • Hinweis RED-Monitoring

  • Kubernetes-Cluster einrichten

  • Monitoring-Infrastruktur mit Kubernetes bereitstellen

  • Cluster im Kubernetes-Dashboard veranschaulichen

  • Kubernetes-Metriken mit Grafana anzeigen

  • Datenbanken monitoren am Beispiel MariaDB

  • Anwendungsbeispiel Spring Boot vorstellen

  • Micrometer-Metriken aus Spring Boot exportieren

  • Monitoring durch eigene Metriken erweitern

  • Abschluss Anwendungsmetriken

  • Fazit und Kursabschluss

  • Quiz: Monitoring: Praktische Beispiele

So lernen Sie mit diesem Videokurs:

In den Videokursen der heise Academy lernen Sie IT-Themen anschaulich und verständlich. In den Videos schauen Sie Experten bei der praktischen Arbeit zu und lassen sich alles genau erklären. Das Wissen ist in viele kleine Lernschritte und Aufgaben unterteilt - Sie können den Kurs Lektion für Lektion durcharbeiten oder gezielt zu Themen springen, die Sie interessieren. Die persönliche Lernumgebung der heise Academy bietet Ihnen viele Funktionen, die Sie beim Lernen unterstützen:

• Flexibler Videoplayer mit vielen Steuerungsmöglichkeiten

• Wissensquizzes zur Lernkontrolle

• Lernhistorie und Lernfortschritt

• Lesezeichen und Notizen

• Volltextsuche in den Videos

• Frage-den-Experten-Modul

• Übungsmaterial zum Mitmachen

• Responsive Web-App und Videostreaming für alle Endgeräte

Technische Voraussetzungen:

Für diesen Videokurs wird lediglich ein Browser (mit eingeschalteter JavaScript-Funktionalität) und eine Internetverbindung benötigt.