Opções de recurso de cálculo para o Data Refinery em projetos

Ao criar ou editar um fluxo de Refinaria de Dados em um projeto, você usa o ambiente de tempo de execução Default Data Refinery XS. No entanto, ao executar um fluxo de Refinaria de Dados em uma tarefa, você escolhe um modelo de ambiente para o ambiente de tempo de execução. O modelo de ambiente especifica o tipo, o tamanho e a potência da configuração do hardware, mais o modelo de software.

Tipos de ambientes

É possível usar estes tipos de ambientes com o Data Refinery:

  • Ambiente de tempo de execução Default Data Refinery XS para execução de tarefas em conjuntos de dados pequenos.
  • Ambientes do Spark para executar tarefas em conjuntos de dados maiores. Os ambientes Spark têm modelos de ambiente padrão para que se possa começar a usar rapidamente. Caso contrário, é possível criar modelos de ambiente customizados para ambientes Spark. Você deve usar um ambiente Spark & R somente se estiver trabalhando em um conjunto de dados grande. Se o seu conjunto de dados for pequeno, você deverá selecionar o tempo de execução Default Data Refinery XS. A razão é que, embora o cluster SparkR em um ambiente do Spark & R seja rápido e poderoso, ele requer tempo para ser criado, o que é perceptível quando você executa uma tarefa do Data Refinery em um conjunto de dados pequeno

Modelos de ambiente padrão

Quando você trabalha em Data Refinery, o tempo de execução do ambiente Default Data Refinery XS é iniciado e aparece como um tempo de execução ativo sob runtimes da Ferramenta na página Ambientes na guia Gerenciar do seu projeto. Esse tempo de execução é parado após uma hora de inatividade na interface do Data Refinery. No entanto, você pode pará-lo manualmente em runtimes de ferramentas na página Ambientes .

Ao criar uma tarefa para executar um fluxo de Refinaria de Dados em um projeto, você seleciona um modelo de ambiente. Depois que um tempo de execução para um trabalho é iniciado, ele é listado como um tempo de execução ativo sob runtimes de ferramentas na página Ambientes na guia Gerenciar do seu projeto. O tempo de execução de uma tarefa para quando a tarefa do Data Refinery para a execução.

O uso de cálculo é controlado por horas de unidade de capacidade (CUH).

Modelos de ambiente pré-configurados disponíveis em projetos do Data Refinery
Nome Configuração do Hardware Unidades de capacidade por hora (CUH)
Default Data Refinery XS Três vCPUs e 12 GB de RAM 1.5
Default Spark 3.4 & R 4.3 2 Executores cada: 1 vCPU e 4 GB RAM;
Driver: 1 vCPU e 4 GB RAM		 1.5

Todos os modelos de ambiente padrão para Refinaria de Dados são prontos para HIPAA.

Os modelos de ambiente padrão Spark são listados sob Templates na página Ambientes na guia Gerenciar do seu projeto.

Uso de cálculo em projetos

Data Refinery é fornecido com o watsonx.ai Studio e o IBM watsonx.data intelligence. No entanto, se você tiver os dois serviços, os recursos de cálculo usados para trabalhar no Data Refinery e executar tarefas para os fluxos do Data Refinery em projetos não serão acumulativos. Use a CUH do plano com o mais alto nível de precedência:

  1. Enterprise ou Professional
  2. Padrão
  3. Lite

Por exemplo, se você tiver o plano watsonx.ai Studio Lite e o plano IBM watsonx.data intelligence Professional, use IBM watsonx.data intelligence CUH.

Se o nível do plano para ambos os serviços for o mesmo, você usará o CUH do watsonx.ai Studio. Por exemplo, se você tiver o plano watsonx.ai Studio Lite e o plano IBM watsonx.data intelligence Lite, poderá usar somente até o limite do watsonx.ai Studio CUH. Você não pode mudar para o site IBM watsonx.data intelligence CUH.

Você pode monitorar o consumo de CUH do watsonx.ai Studio na página Uso de recursos na guia Gerenciar do seu projeto.

Não é possível monitorar o consumo de IBM watsonx.data intelligence CUH.

Mudando o tempo de execução

Você não pode alterar o tempo de execução para trabalhar em Data Refinery.

É possível mudar o tempo de execução para um trabalho de fluxo de Refinaria de Dados, editando o modelo de tarefa. Consulte Criação de tarefas em refinaria de dados.

Logs de tempo de execução para tarefas

Para visualizar os logs acumulados para uma tarefa do Data Refinery:

  1. A partir da página Tarefas do projeto, clique na tarefa que executou o fluxo de Refinaria de Dados para o qual deseja consultar logs.
  2. Clique na execução da tarefa. É possível visualizar o registro de log mais recente ou fazer download do arquivo de log completo.

Próximas etapas

Saiba Mais