Apache Spark ist das größte Open-Source-Datenverarbeitungsprojekt und bietet ein schnelles Datenverarbeitungstool für Big Data und tiefgreifende Analysen. Die Apache Spark-Überwachung von Instana bietet die Möglichkeit, über AWS EMR bereitgestelltes Spark zu überwachen, kann aber auch Spark-Standalone-Cluster-Manager überwachen. Bei der Überwachung der Spark-Leistung dreht sich alles um die Überwachung der Spark-Treiberinstanz. Der Spark-Überwachungsensor von Instana unterstützt beide Treiberbereitstellungsmethoden.
14 Tage, keine Kreditkarte erforderlich, Vollversion
Abhängig vom Typ der bereitgestellten Anwendung (EMR, Standalone) werden unterschiedliche Daten erfasst und zur Überwachung verwendet.
Installieren Sie für auf AWS EMR laufende Spark-Instanzen den Instana-Agenten auf den Amazon EC2-Instanzen innerhalb des EMR-Clusters. Wenn Sie eine automatisierte Bereitstellung des Spark-Überwachungssensors wünschen, muss der Instana-Agent auf allen Knoten in dem EMR-Cluster platziert werden.
Die Spark-Überwachung von Instana umfasst ein automatisch erstelltes Übersichts-Dashboard, das sich auf Anwendungs-KPIs konzentriert — darunter Reaktionszeit und Auslastung. Das Dashboard enthält auch wichtige Infrastrukturkonfigurations- und Leistungsmetriken sowie spezifische Spark-Verarbeitungsdatenmetriken. Das Dashboard ermöglicht es DevOps und IT-Ops, alle relevanten Spark-Daten auf einem einzigen Bildschirm zu sehen und so unkompliziert Aufschluss über den Status ihrer Spark-Instanzen zu erhalten.
Die Überwachung des Allgemeinzustands und der Leistung von Apache Spark-Instanzen erfordert sowohl ein Verständnis von Spark selbst als auch die Fähigkeit, die Interaktionen und Abhängigkeiten zwischen geclusterten Spark-Instanzen sowie die Interaktionen mit anderen Microservices (sowohl vorgelagert als auch nachgeschaltet) zu erkennen. Der Spark-Überwachungssensor von Instana identifiziert und erfasst diese relevanten Metriken automatisch.
Stapelanwendungen
- Jobs
- Phasen
- Längste abgeschlossene Schritte
- Steuerprogramme
Streaming-Anwendungen
- Stapelverarbeitung
- Planungsverzögerung
- Gesamtverzögerung
- Verarbeitungszeit
- Ausgabeoperationen
- Eingabedatensätze
- Empfänger
- Steuerprogramme
Konfiguration
- Host
- Port
- Rest-URI
- Version
- Status
Metriken
- Aktive Worker
- Inaktive Worker
- Stillgelegte Worker
- Worker mit unbekanntem Status
- Verwendeter Speicher
- Gesamtspeicher
- Genutzte Kerne
- Kerne gesamt
- Daten und Metriken pro Worker
- Aktuellste Apps
- Neueste Treiber