Configurando as informações sobre o nível de log do Spark

analise os aplicativos em execução e identifique os problemas existentes utilizando os registros gerados pelo aplicativo Spark do Analytics Engine powered by Apache Spark. Os níveis padrão de registro disponíveis são ALL, TRACE, DEBUG, INFO, WARN, ERROR, FATAL e OFF. Por padrão, o aplicativo Spark do Analytics Engine powered by Apache Spark gera registros no nível INFO do Spark. Você pode configurar o nível de registro para exibir mensagens relevantes e menos detalhadas.

A configuração de registro do ` Analytics Engine powered by Apache Spark ` define o nível de registro do framework Spark. Isso não afeta os registros gerados pelo código do usuário por meio de comandos como ' logger.info ()', ' logger.warn ()', 'print()' ou 'show()' na aplicação Spark.

Esse recurso é aplicável apenas a aplicativos Spark. Esse recurso não é compatível com aplicativos interativos do Spark nem com kernels do Spark.

Configuração das opções

Configure os seguintes registros do ` Analytics Engine powered by Apache Spark ` para definir o nível de registro da aplicação Spark:

  • Registros do driver Spark (usando ae.spark.driver.log.level)
  • Registros do executor do Spark (usando ae.spark.executor.log.level)

Especifique a opção na seção de configurações do Spark no momento do provisionamento de uma instância do Analytics Engine powered by Apache Spark ou ao enviar uma aplicação do Spark. Você pode especificar os seguintes valores padrão para o nível de log:

  • TODOS
  • RASTREAMENTO
  • DEBUG
  • INFO
  • WARN
  • ERRO
  • FATAL
  • DESLIGADO

O valor padrão para o nível de log do driver e do executor é INFO.

Você pode aplicar a configuração das duas maneiras a seguir:

  • Configuração no nível da instância
  • Configuração no nível do aplicativo

Configurando as informações do nível de log do Spark no nível da instância

Ao provisionar uma instância do ` Analytics Engine powered by Apache Spark `, especifique as configurações do nível de log no atributo `default_config`. Para obter mais informações, consulte Configuração padrão do Spark.

Exemplo:


"default_config": {
    "ae.spark.driver.log.level": "WARN",
    "ae.spark.executor.log.level": "ERROR"
}

Configurando as informações do nível de log do Spark no nível da aplicação

Ao enviar uma tarefa, especifique as opções na carga útil em conf. Para obter mais informações, consulte o aplicativo Spark.

Exemplo:


{
     "conf": {
	"ae.spark.driver.log.level":"WARN",
	"ae.spark.executor.log.level":"WARN",
     }
}

Exemplo de caso de uso

Definição do nível de registro em log na configuração do Spark em nível de instância : O caso de uso de exemplo considera o cenário em que você provisiona uma instância do Analytics Engine powered by Apache Spark e configura o nível de registro em log de forma que todas as aplicações na instância registrem em log no nível ERROR.

  1. Defina as seguintes configurações como configurações padrão do Spark:

    • ae.spark.driver.log.level = ERRO
    • ae.spark.executor.log.level = ERRO

    Após definir a configuração padrão do Spark, o nível de log para todas as aplicações enviadas à instância é definido como ERROR (desde que a carga útil da aplicação não especifique a configuração do Spark durante o envio).

Definição do nível de log na configuração do Spark no nível da tarefa : O caso de uso de exemplo considera um cenário em que você tem uma aplicação e o nível de log está configurado de forma que os logs sejam registrados no nível INFO. Você pode especificar a configuração do Spark na carga útil. Considere a carga útil de exemplo:

curl -k -X POST <V4_JOBS_API_ENDPOINT> -H "Authorization: ZenApiKey ${TOKEN}" -d '{
    "application_details": {
        "application": "/opt/ibm/spark/examples/src/main/python/wordcount.py",
        "arguments": ["/opt/ibm/spark/examples/src/main/resources/people.txt"],
        "conf": {
            "ae.spark.driver.log.level":"DEBUG",
	    "ae.spark.executor.log.level":"DEBUG",
        }
    }
}'

No caso de uso de exemplo, a aplicação Spark substitui a configuração de nível de log definida no nível da instância, ou seja, altera de ERROR para INFO.

Ativação da limpeza automática dos registros históricos

Você pode configurar o histórico do Spark para ativar a limpeza automática dos registros do histórico do Spark. A configuração padrão a seguir ativa automaticamente a limpeza das informações do registro de histórico com mais de 30 dias. Além disso, ele monitora os registros diariamente para excluir aqueles com mais de 30 dias.

Exemplo:


"default_config": {
    "spark.history.fs.cleaner.enabled": "true"
    "spark.history.fs.cleaner.interval": "1d"
    "spark.history.fs.cleaner.maxAge": "30d"
}

Saiba mais