Como usar os recursos avançados do Analytics Engine Powered by Apache Spark

Dependendo de como você configurar o Analytics Engine powered by Apache Spark, é possível aproveitar os recursos avançados do Spark que oferecem suporte à implantação e ao monitoramento de aplicativos ao criar instâncias.

Importante: É necessário configurar o serviço Analytics Engine powered by Apache Spark para oferecer suporte aos recursos avançados do Spark antes de criar instâncias do serviço. Os recursos avançados não estarão disponíveis para instâncias de serviço criadas antes da ativação desses recursos para o serviço. Você deve usar uma nova instância após ativar ou desativar os recursos avançados.

Esses recursos avançados incluem:

  • Quando uma instância do serviço Spark é criada, um espaço de implantação é associado a essa instância. O espaço de implantação contém todas as execuções de tarefas associadas a essa instância específica.
  • Você pode verificar o Spark application-id, job-ido status e a duração de um trabalho na interface de usuário do IBM Cloud Pak for Data.
  • Você pode visualizar e baixar os registros a partir da interface do usuário.
  • Você pode fazer o upload do JAR ou do arquivo da aplicação Spark como um recurso, que será automaticamente adicionado ao classpath do Spark, tornando-o disponível para o trabalho do Spark.
  • Você também pode usar o painel de tarefas para visualizar as tarefas de acordo com seu status.

Ativando recursos avançados

Função necessária : você deve ser um administrador do OpenShift ou um administrador de projeto do OpenShift para fazer alterações no recurso personalizado (CR) ` Analytics Engine `.

Você pode ativar o uso dos recursos avançados nas instâncias provisionadas de duas maneiras:

  • Ou usando o seguinte comando do patch:

    oc patch AnalyticsEngine <analyticsengine-cr-name> --namespace ${PROJECT_CPD_INST_OPERANDS} --type merge --patch '{"spec": {"serviceConfig":{"sparkAdvEnabled":true}}}'
    
  • Ou seguindo os passos a seguir:

    1. Efetue login no Cloud Pak for Data.
    2. Atualize a spec.serviceConfig.sparkAdvEnabled propriedade no arquivo YAML do CR do Analytics Engine, que foi usado para configurar o Analytics Engine powered by Apache Spark.
    3. Em seguida, aplique as alterações ao CR já implantado usando o seguinte comando:
      oc apply -f cr.yaml -n ${PROJECT_CPD_INST_OPERANDS}
      
    4. Aguarde até que o CR do ` Analytics Engine ` esteja no Completed estado:
      oc get analyticsengine -n ${PROJECT_CPD_INST_OPERANDS}
      

As alterações de configuração podem levar alguns minutos para entrar em vigor. Todas as instâncias do Spark criadas posteriormente terão os recursos avançados do Spark ativados.