Alto desempenho com Spark: melhores práticas para dimensionar e otimizar o Apache Spark
Monitoramento e gerenciamento de desempenho do Apache Spark
O Apache Spark é o maior projeto de processamento de dados de software livre, proporcionando uma ferramenta de processamento de dados rápida para big data e analítica profunda. O monitoramento do Apache Spark da Instana inclui a capacidade de monitorar o Spark implantado por meio do AWS EMR, mas também pode monitorar o gerenciador do cluster independente do Spark. O monitoramento do desempenho do Spark gira em torno do monitoramento da instância do driver do Spark. O sensor de monitoramento do Spark da Instana é compatível com ambos os métodos de implantação do driver.
Monitoramento do desempenho e do funcionamento do Spark
Dependendo do tipo de aplicativo que foi implantado (EMR, independente), outros dados são coletados e utilizados para monitoramento.
Monitoramento do desempenho e da configuração do Spark
Para instâncias do Spark em execução no AWS EMR, instale o agente Instana nas instâncias do Amazon EC2 dentro do cluster EMR. Se você quiser a implantação automatizada do sensor de monitoramento do Spark, o agente Instana deverá ser colocado em todos os nós no cluster EMR.
O monitoramento do Spark da Instana contém um painel de resumo criado automaticamente que se concentra nos KPIs do aplicativo, incluindo tempo de resposta e carga. O painel também contém as principais métricas de desempenho e configuração da infraestrutura, bem como métricas específicas de dados de processamento do Spark. O painel permite que DevOps e IT Ops vejam todos os dados relevantes do Spark em uma tela, facilitando a compreensão do estado de suas instâncias do Spark.
O monitoramento da integridade e do desempenho das instâncias do Apache Spark exige o conhecimento sobre o próprio Spark, bem como a capacidade de ver as interações e dependências entre as instâncias do Spark em cluster e as interações com outros microsserviços (tanto no envio quanto no recebimento de dados). O sensor de monitoramento do Spark da Instana identifica e colhe automaticamente essas métricas relevantes.
Aplicações em lote
- Empregos
- Estágios
- Etapas concluídas mais longas
- Executores
Aplicativos de streaming
- Envio em lote
- Atraso no agendamento
- Atraso total
- Tempo de processamento
- Operações de saída
- Registros de Entrada
- Receptores
- Executores
Configuração
- Host
- Porta
- URI de repouso
- Versão
- Status
Métrica
- Trabalhadores ativos
- Trabalhadores inativos
- Trabalhadores descomissionados
- Trabalhadores em estado desconhecido
- Memória utilizada
- Memória total
- Núcleos utilizados
- Total de núcleos
- Dados e métricas por trabalhador
- Aplicativos mais recentes
- Drivers mais recentes