Pour permettre une observabilité et une surveillance continues de Spark, IBM Databand propose une intégration fluide de Databricks par le biais des workloads Spark.
IBM Databand offre des capacités d’observabilité de Spark dans le contexte de vos pipelines plus larges pour vous permettre de détecter les incidents liés aux données plus tôt et de les résoudre plus rapidement.
Databand collecte des métadonnées spécifiques à Spark, telles que les indicateurs associés aux tâches, ainsi que les journaux d’exécution de Spark dans les applications Spark Python et Scala/Java. Cela inclut des capacités de suivi avancées pour les déploiements de Spark sur watsonx.data, EMR, Databricks et Dataproc.
Recevez des alertes en temps réel sur les exécutions Spark et les incidents liés à la qualité des données.
Consultez les tendances historiques des différents processus Spark afin de détecter les anomalies et les incidents.
Utilisez le traçage des incidents d’exécution de Databand pour voir comment les exécutions Spark affectent les données en aval.