Para alcançar observabilidade e monitoramento contínuos do Spark, o IBM Databand oferece uma integração perfeita com o Databricks através de cargas de trabalho Spark.
O IBM Databand proporciona observabilidade do Spark no contexto de seus pipelines mais amplos, permitindo que você detecte incidentes de dados mais cedo e os resolva mais rapidamente.
O Databand coleta metadados específicos do Spark, como métricas de trabalho e logs de execução do Spark em aplicações Python e Scala/Java. Isso inclui recursos avançados de rastreamento para implementações do Spark em watsonx.data, EMR, Databricks e Dataproc.
Receba alertas em tempo real sobre execuções do Spark e incidentes de qualidade de dados.
Veja tendências históricas de diferentes processos Spark para detectar anomalias e incidentes.
Use a linhagem de incidentes em tempo de execução do Databand para ver como as execuções do Spark impactam
dados downstream.