Opções de recursos de cálculo para o editor de bloco de notas em projetos

Pacotes de bibliotecas que estão incluídos em Runtimes

Para versões específicas de pacotes populares de bibliotecas de ciência de dados incluídos nos runtimes do watsonx.ai Studio, consulte estas tabelas:

• Pacotes e suas versões nas versões de tempo de execução para Python
• Pacotes e suas versões nas versões de tempo de execução para R

Observação: O GenAI Runtime 25-A concentra-se em estruturas de IA generativa e inclui o ecossistema LangChain e ferramentas relacionadas. Para obter a lista de pacotes no GenAI Runtime 25-A, selecione a guia Gerenciar no seu projeto, clique em Modelos, selecione a guia Ambientes e clique no ambiente GenAI Runtime.

Além das bibliotecas listadas nas tabelas, os tempos de execução incluem muitas outras bibliotecas úteis. Para ver a lista completa, selecione a guia Gerenciar em seu projeto e, em seguida, clique em Modelos, selecione a guia Ambientes e, em seguida, clique em um dos ambientes listados

Tipos de tempo de execução

Dois tipos de ambientes de execução do Python estão disponíveis:

• GenAI Tempo de execução : otimizado para cargas de trabalho de IA generativa com acesso às versões mais recentes das estruturas e ferramentas GenAI, incluindo o ecossistema LangChain. Esse tipo de tempo de execução é ideal para desenvolver e implantar serviços de IA dentro da plataforma.
• Tempo de execução : Focado no aprendizado de máquina tradicional, com prioridade na estabilidade. Inclui uma variedade abrangente de estruturas de ML ( TensorFlow,PyTorch, XGBoost) e pacotes de visualização ( Matplotlib, Seaborn, Bokeh).

Ambos os tipos de tempo de execução incluem pacotes fundamentais como Pandas, NumPy, e scikit-learn, embora as versões dos pacotes possam diferir entre os dois tipos. Os tipos de tempo de execução seguem ciclos independentes de lançamento e descontinuação, o que se reflete em seus diferentes esquemas de versão (por exemplo, 25-A e 25.1 ).

Principais diferenças:

• Watson NLP e Decision Optimization : Disponível apenas em ambientes Runtime, não em ambientes Runtime GenAI.
• Suporte a idiomas : GenAI Os tempos de execução são exclusivos para Python. A linguagem de programação R está disponível apenas em ambientes Runtime.
• Casos de uso do GenAI Runtime :
  • Desenvolvimento de serviços de IA em que o código do notebook é executado no mesmo ambiente que o serviço implantado
  • Realização de chamadas de inferência de modelos com modelos de IA generativa
  • Trabalhando com LangChain e outras estruturas GenAI

Modelos de ambiente de CPU padrão

Para obter uma lista dos modelos de ambiente de CPU disponíveis, consulte a tabela Modelos de ambiente de CPU padrão para notebooks.

Pare todos os tempos de execução de CPU ativos quando você não precisar mais deles, para evitar o consumo de horas extras de unidade de capacidade (CUHs) Consulte Tempo limite de inatividade da CPU.

Blocos de notas e ambientes CPU

Ao abrir um bloco de notas no modo de edição em um ambiente de tempo de execução de CPU, exatamente uma sessão interativa se conecta a um kernel Jupyter para a linguagem do bloco de notas e o tempo de execução do ambiente selecionado. O tempo de execução é iniciado por usuário único e não por notebook. Isso significa que se você abrir um segundo notebook com o mesmo modelo de ambiente no mesmo projeto, um segundo kernel será iniciado no mesmo tempo de execução. Os recursos de tempo de execução são compartilhados pelos kernels do Jupyter que você inicia no tempo de execução. Para obter mais informações, consulte Escopo do tempo de execução

Se necessário, é possível reiniciar ou reconectar-se ao kernel. Quando um kernel é reiniciado, ele é interrompido e depois iniciado na mesma sessão novamente, mas todos os resultados da execução são perdidos. Ao se reconectar a um kernel depois de perder uma conexão, o bloco de notas é conectado à mesma sessão do kernel e todos os resultados de execução anteriores que foram salvos estão disponíveis.

Grandes ambientes Spark

Se você tiver o plano watsonx.ai Studio Professional, poderá criar modelos de ambiente personalizados para ambientes Spark maiores.

Os usuários do plano profissional podem ter até 35 executores e podem escolher entre as opções a seguir para o driver e o executor:

A taxa de CUH por hora aumenta em 0,5 para cada vCPU que for incluída. Por exemplo, 1x Driver: 3vCPU with 12 GB of RAM e 4x Executors: 2vCPU with 8 GB of RAM equivale a (3 + (4 * 2)) = 11 vCPUs e 5.5 CUH.

Blocos de notas e ambientes Spark

É possível selecionar o mesmo modelo de ambiente Spark para mais de um notebook. Cada bloco de notas associado a um ambiente tem seu próprio cluster de Spark dedicado e nenhum recurso é compartilhado.

Quando um ambiente Spark é iniciado, são necessários recursos adicionais para os daemons de trabalhador do Jupyter Enterprise Gateway, Spark Master e Spark. Esses recursos extras equivalem a 1 vCPU e 2 GB de RAM para o driver e 1 GB de RAM para cada executor. É necessário levar esses recursos adicionais em conta ao selecionar o tamanho do hardware de um ambiente Spark. Por exemplo: se você criar um notebook e selecionar Default Spark 3.5 & Python 3.11, o cluster Spark consome 3 vCPU e 12 GB de RAM mas, como 1 vCPU e 4 GB RAM são necessários para os recursos extras, os recursos restantes para o notebook são de 2 vCPU e 8 GB de RAM.

Sistema de arquivos em um cluster Spark

Se você deseja compartilhar arquivos através de executores e do driver ou kernel de um cluster Spark, pode-se usar o sistema de arquivos compartilhados em /home/spark/shared.

Se deseja usar suas próprias bibliotecas customizadas, pode-se armazená-las sob /home/spark/shared/user-libs/. Há quatro subdiretórios sob o /home/spark/shared/user-libs/ que são pré-configurados para serem disponibilizados para Python e tempos de execução R ou Java

As tabelas a seguir listam os subdiretórios pré-configurados nos quais é possível incluir suas libarias customizadas.

Para compartilhar bibliotecas em um driver do Spark e executores:

1. Faça download de suas bibliotecas customizadas ou arquivos JAR para o diretório pré-configurado apropriado.
2. Reinicie o kernel a partir do menu do notebook clicando em Kernel > Reiniciar Kernel. Isso carrega suas bibliotecas customizadas ou arquivos JAR no Spark.

Observe que essas bibliotecas não são persistidas. Ao parar o tempo de execução do ambiente e reiniciá-lo novamente mais tarde, é necessário carregar as bibliotecas novamente.

Blocos de notas e ambientes GPU

Os ambientes GPU para blocos de notas estão disponíveis somente na região de serviço Dallas da IBM Cloud.

Você pode selecionar o mesmo modelo de ambiente Python e GPU para mais de um notebook em um projeto. Nesse caso, cada kernel do bloco de notas é executado na mesma instância de tempo de execução e os recursos são compartilhados. Para evitar o compartilhamento de recursos de tempo de execução, crie vários modelos de ambiente personalizados com as mesmas especificações e associe cada notebook com seu próprio template.

Acompanhamento do consumo de CUH para um tempo de execução d watsonx.ai em um notebook

Para calcular as horas de unidade de capacidade consumidas por um bloco de notas, execute este código nele:

CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Por exemplo:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

retorna 5,49 CUH

Para obter detalhes, consulte a seção Instâncias de serviço da documentação da API de tempo de execuçãoIBM watsonx.ai.