Spark de alto rendimiento: prácticas recomendadas para escalar y optimizar Apache Spark
Supervisión de Apache Spark
Supervisión y gestión del rendimiento de Apache Spark

Apache Spark es el mayor proyecto de procesamiento de datos de código abierto, que proporciona una herramienta de procesamiento rápido para big data y analytics profundos. La supervisión de Apache Spark de Instana incluye la capacidad de supervisar Spark implementado a través de AWS EMR, pero también puede monitorizar el gestor de clústeres de Spark Standalone. La supervisión del rendimiento de Spark gira en torno a la supervisión de la instancia de Spark Driver. El sensor de supervisión de Spark de Instana admite ambos métodos de despliegue del conductor.

¡Comience su PRUEBA GRATUITA hoy mismo!

14 días, sin tarjeta de crédito, versión completa

Supervisión del rendimiento y estado de Spark

Dependiendo del tipo de aplicación que se haya implementado (EMR, Standalone), se recopilan y utilizan diferentes datos para la supervisión.

Supervisión de rendimiento y configuración de Spark

Para las instancias de Spark que se ejecutan en AWS EMR, instale el agente de Instana en las instancias de Amazon EC2 con el clúster EMR. Si desea una implementación automática del sensor de supervisión de Spark, el agente de Instana debe colocarse en todos los nodos del clúster de EMR.

La supervisión de Spark de Instana incluye un panel de resumen creado automáticamente que se centra en los KPI de la aplicación, incluidos el tiempo de respuesta y la carga. El panel también incluye métricas clave de configuración y rendimiento de la infraestructura, así como métricas de datos de procesamiento de Spark. El panel permite a DevOps y operaciones de TI ver todos los datos relevantes de Spark en una pantalla, lo que facilita la comprensión del estado de sus instancias de Spark.

La supervisión del estado y el rendimiento de las instancias de Apache Spark requiere tanto una comprensión de Spark, como también la capacidad de ver las interacciones y dependencias entre instancias de Spark agrupadas y las interacciones con otros microservicios (tanto en sentido ascendente como descendente). El sensor de supervisión de Spark de Instana identifica y recopila automáticamente esas métricas relevantes.

Datos de supervisión de Spark

 

Aplicaciones por lotes

  • Empleos
  • Etapas
  • Pasos más largos completados
  • Ejecutores

    Aplicaciones de streaming

    • Proceso por lotes
    • Retraso de programación
    • Retraso total
    • Tiempo de procesamiento
    • Operaciones de salida
    • Registros de entrada
    • Receptores
    • Ejecutores

      Configuraciones

      • Host
      • Puerto
      • Resto de URI
      • Versión
      • Estado

      Métricas

      • Trabajadores activos
      • Trabajadores no activos
      • Trabajadores despedidos
      • Trabajadores en estado desconocido
      • Memoria utilizada
      • Memoria total
      • Núcleos usados
      • Total de núcleos
      • Datos y métricas por trabajador
      • Aplicaciones más recientes
      • Conductores más recientes
        Instalación del sensor de supervisión Spark: Introducción

        ¿Listo para comenzar a supervisar Spark? Comience registrándose para obtener una versión de prueba gratuita de Instana . Una vez que tenga una cuenta, consulte la Documentación de gestión de Spark para obtener más información sobre cómo configurar los diferentes tipos de controladores e implementaciones de Spark.

        Inicie una prueba gratuita Documentación de gestión de Spark