Apache Spark ist das größte Open-Source-Datenverarbeitungsprojekt und bietet ein schnelles Datenverarbeitungstool für Big Data und tiefgreifende Analysen. Die Apache Spark-Überwachung von Instana bietet die Möglichkeit, über AWS EMR bereitgestelltes Spark zu überwachen, kann aber auch Spark-Standalone-Cluster-Manager überwachen. Bei der Überwachung der Spark-Leistung dreht sich alles um die Überwachung der Spark-Treiberinstanz. Der Spark-Überwachungsensor von Instana unterstützt beide Treiberbereitstellungsmethoden.
Abhängig vom Typ der bereitgestellten Anwendung (EMR, Standalone) werden unterschiedliche Daten erfasst und zur Überwachung verwendet.
Installieren Sie für auf AWS EMR laufende Spark-Instanzen den Instana-Agenten auf den Amazon EC2-Instanzen innerhalb des EMR-Clusters. Wenn Sie eine automatisierte Bereitstellung des Spark-Überwachungssensors wünschen, muss der Instana-Agent auf allen Knoten in dem EMR-Cluster platziert werden.
Die Spark-Überwachung von Instana umfasst ein automatisch erstelltes Übersichts-Dashboard, das sich auf Anwendungs-KPIs konzentriert — darunter Reaktionszeit und Auslastung. Das Dashboard enthält auch wichtige Infrastrukturkonfigurations- und Leistungsmetriken sowie spezifische Spark-Verarbeitungsdatenmetriken. Das Dashboard ermöglicht es DevOps und IT-Ops, alle relevanten Spark-Daten auf einem einzigen Bildschirm zu sehen und so unkompliziert Aufschluss über den Status ihrer Spark-Instanzen zu erhalten.
Die Überwachung des Allgemeinzustands und der Leistung von Apache Spark-Instanzen erfordert sowohl ein Verständnis von Spark selbst als auch die Fähigkeit, die Interaktionen und Abhängigkeiten zwischen geclusterten Spark-Instanzen sowie die Interaktionen mit anderen Microservices (sowohl vorgelagert als auch nachgeschaltet) zu erkennen. Der Spark-Überwachungssensor von Instana identifiziert und erfasst diese relevanten Metriken automatisch.
Stapelanwendungen
- Jobs
- Phasen
- Längste abgeschlossene Schritte
- Steuerprogramme
Streaming-Anwendungen
- Stapelverarbeitung
- Planungsverzögerung
- Gesamtverzögerung
- Verarbeitungszeit
- Ausgabeoperationen
- Eingabedatensätze
- Empfänger
- Steuerprogramme
Konfiguration
- Host
- Port
- Rest-URI
- Version
- Status
Metriken
- Aktive Worker
- Inaktive Worker
- Stillgelegte Worker
- Worker mit unbekanntem Status
- Verwendeter Speicher
- Gesamtspeicher
- Genutzte Kerne
- Kerne gesamt
- Daten und Metriken pro Worker
- Aktuellste Apps
- Neueste Treiber