Um eine kontinuierliche Beobachtbarkeit und Überwachung von Spark zu erreichen, ermöglichen die IBM Databand Funktionen eine nahtlose Databricks-Integration durch Spark Workloads.
IBM Databand bietet Spark-Beobachtbarkeit im Kontext Ihrer umfassenderen Pipelines, sodass Sie Datenvorfälle früher erkennen und schneller beheben können.
Databand sammelt Spark-spezifische Metadaten wie Job-Metriken sowie Spark-Ausführungsprotokolle für Python- und Scala/Java-Spark-Anwendungen. Dazu gehören erweiterte Tracking-Funktionen für die Bereitstellung von Spark auf watsonx.data, EMR, Databricks und Dataproc.
Erhalten Sie Echtzeitwarnungen zu Spark-Ausführungen und Datenqualitätsvorfällen.
Sehen Sie sich historische Trends verschiedener Spark-Prozesse an, um Anomalien und Vorfälle zu erkennen.
Verwenden Sie die Laufzeit-Vorfallsabstammung von Databand, um anzuzeigen, wie sich Spark-Ausführungen auf
nachgelagerte Daten auswirken.