Carregando e acessando dados em um bloco de notas

Você pode integrar dados em notebooks acessando os dados de um arquivo local, a partir de conjuntos de dados livres ou a partir de uma conexão de origem de dados. Você carrega esses dados em uma estrutura de dados ou em um contêiner no notebook, por exemplo, um pandas.DataFrame, numpy.array, Spark RDD ou Spark DataFrame.

Para trabalhar com dados em um bloco de notas, é possível escolher entre as opções a seguir:

Métodos recomendados para incluir dados em seu bloco de notas
Opção Método recomendado Requisitos Detalhes
Incluir dados de um arquivo em seu sistema local Inclua um fragmento de código que carregue seus dados O arquivo deve existir como um ativo no projeto Inclua um arquivo de seu sistema local e, em seguida, Use um fragmento de código para carregar os dados
Incluir dados de um conjunto de dados livre do hub de Recursos Inclua um fragmento de código que carregue seus dados O conjunto de dados (arquivo) deve existir como um ativo em seu projeto Inclua um conjunto de dados livre do hub de Recursos e, em seguida, Use um fragmento de código para carregar os dados
Carregar dados de conexões de origem de dados Inclua um fragmento de código que carregue seus dados A conexão deve existir como um ativo no projeto Inclua uma conexão em seu projeto e, em seguida, Inclua um fragmento de código que carregue os dados de sua conexão de origem de dados
Acessar ativos e metadados do projeto programaticamente.. Use o ibm-watson-studio-lib O ativo de dados deve existir em seu projeto Use a biblioteca ibm-watson-studio-lib para interagir com ativos de dados
Criar e usar dados do armazenamento de recursos Usar funções de biblioteca do assetframe-lib O ativo de dados deve existir em seu projeto Use a biblioteca assetframe-lib para Python para criar e usar dados do armazenamento de recursos
Acessar dados usando uma função de API ou um comando do sistema operacional Por exemplo, utilize wget N/D Acesse dados usando uma função de API ou um comando do sistema operacional
Importante: certifique-se de que o ambiente no qual o bloco de notas é iniciado tenha memória suficiente para armazenar os dados que você carrega para o bloco de notas. O ambiente deve ter significativamente mais memória do que o tamanho total dos dados carregados no bloco de notas. Algumas estruturas de dados, como os pandas, podem conter várias cópias dos dados na memória.

Incluindo um arquivo de seu sistema local

Para incluir um arquivo de seu sistema local em seu projeto usando o editor de bloco de notas Jupyterlab:

  1. Abra seu bloco de notas no modo de Edição
  2. Na barra de ferramentas, clique no ícone Fazer upload do ativo para o projeto Ícone Fazer upload do ativo para o projeto e inclua seu arquivo.
Dica: também é possível arrastar o arquivo para a barra lateral do notebook.

Carregar conjuntos de dados do hub de Recursos

Os conjuntos de dados no hub de Recurso contêm dados abertos.. Assista a este vídeo curto para ver como trabalhar com conjuntos de dados públicos no hub de Recursos

Este vídeo fornece um método visual para aprender os conceitos e tarefas nesta documentação.

  • Transcrição de vídeo
    Horário Transcrição
    00:00 Este vídeo mostra como acessar conjuntos de dados públicos na galeria do Cloud Pak for Data as a Service .
    00:06 Inicie no Resource Hub e use os filtros para ver apenas os conjuntos de dados.
    00:13 Aqui, você encontrará alguns conjuntos de dados ricos para você usar em sua análise de dados.
    00:17 Por exemplo, é possível procurar por "economia" ou "população" ou "clima" ou "empregos".
    00:28 Isso parece um conjunto de dados interessante.
    00:30 Abra-o e visualize os dados.
    00:34 A partir daqui, é possível compartilhar o conjunto de dados na mídia social, obter um link direto para o conjunto de dados ou fazer download do conjunto de dados.
    00:45 Também é possível copiar o conjunto de dados em um projeto específico
    00:52 Agora, navegue até esse projeto.
    00:55 Na guia "Ativos", você verá que o conjunto de dados foi incluído na seção de ativos de dados.
    01:01 Em seguida, inclua um novo bloco de notas.
    01:05 O título para este bloco de notas será "Taxas de desemprego".
    01:09 Selecione um ambiente de tempo de execução e um idioma.
    01:14 Quando estiver pronto, crie o bloco de notas.
    01:20 Quando o bloco de notas carregar, acesse as origens de dados e localize o arquivo de desemprego.
    01:27 Clique em "Inserir no código" e escolha como você deseja inserir os dados.
    01:33 As escolhas nesta caixa suspensa são dependentes do idioma utilizado neste bloco de notas.
    01:38 Note que o código inserido inclui as credenciais que serão necessárias para ler o arquivo de dados da instância do Object Storage.
    01:45 Ao executar o código, as primeiras cinco linhas são exibidas.
    01:50 Agora, você está pronto para iniciar a análise de qualquer um dos conjuntos de dados ricos no Hub de Recursos
    01:56 Encontre mais vídeos na documentação do Cloud Pak for Data as a Service.

Para incluir um conjunto de dados do hub de Recursos em seu projeto:

  1. No menu de navegação, selecione o hub de recursos.
  2. Localize a placa para o conjunto de dados que você deseja incluir.
  3. Clique em Incluir no projeto, selecione o projeto e clique em Incluir.. Clicar em Visualizar projeto leva você para a página Visão Geral do projeto. O ativo de dados é adicionado à lista de ativos de dados na página de Ativos do projeto.

Carregando dados de arquivos

Pré-requisitos O arquivo deve existir como um ativo em seu projeto

Para carregar dados de um arquivo de projeto para seu bloco de notas:

  1. Abra seu bloco de notas no modo de Edição
  2. Clique no ícone Trechos de código Ícone de fragmentos de código, clique em Ler dados e selecione o arquivo de dados do seu projeto. Se você desejar alterar sua seleção, use o ícone Editar
  3. Na lista suspensa Carregar como , selecione a opção de carregamento preferida. Se você selecionar Credenciais, apenas as credenciais de acesso ao arquivo serão geradas Para obter detalhes, consulte Incluindo credenciais.
  4. Clique em uma célula de código vazia em seu bloco de notas e, em seguida, clique em Inserir código na célula para inserir o código gerado Como alternativa, clique para copiar o código gerado para a área de transferência e, em seguida, cole o código em seu bloco de notas.

O código gerado serve como uma iniciação rápida para começar a trabalhar com um conjunto de dados Para sistemas de produção, revise cuidadosamente o código inserido para determinar se deseja gravar seu próprio código que melhor atenda às suas necessidades..

Para saber quais estruturas de dados são geradas para qual linguagem de bloco de notas e formato de dados, consulte Suporte de carregamento de dados

Carregando dados de conexões de origem de dados

Pré-requisitos Antes de poder carregar dados de um serviço de dados IBM ou de uma fonte de dados externa, você deve criar ou adicionar uma conexão ao seu projeto.

Para carregar dados de uma conexão de origem de dados existente em uma estrutura de dados em seu bloco de notas:

  1. Abra seu bloco de notas no modo de Edição
  2. Clique no ícone Trechos de código Ícone de fragmentos de código, clique em Ler dados e selecione a conexão da fonte de dados do seu projeto.
  3. Selecione o esquema e escolha uma tabela. Se você desejar alterar sua seleção, use o ícone Editar
  4. Selecione a opção de carregamento Se você selecionar Credenciais, apenas os metadados serão gerados Para obter detalhes, consulte Incluindo credenciais.
  5. Clique em uma célula de código vazia em seu bloco de notas e insira o código na célula. Como alternativa, clique para copiar o código gerado para a área de transferência e, em seguida, cole o código em seu bloco de notas.
  6. Se necessário, insira suas credenciais pessoais para conexões de dados bloqueadas que estejam marcadas com o ícone de chave Ícone de chave. Essa é uma etapa única que desbloqueia permanentemente a conexão para você. Após o desbloqueio da conexão, o ícone de chave não é mais exibido. Para obter mais informações, consulte Incluindo conexões em projetos

O código gerado serve como uma iniciação rápida para começar a trabalhar com uma conexão Para sistemas de produção, revise cuidadosamente o código inserido para determinar se deseja gravar seu próprio código que melhor atenda às suas necessidades..

Para saber quais estruturas de dados são geradas para qual linguagem de bloco de notas e formato de dados, consulte Suporte de carregamento de dados

Incluindo credenciais

Você pode gerar seu próprio código para acessar o arquivo localizado no IBM Cloud Object Storage ou um arquivo acessível por meio de uma conexão. Isso é útil quando, por exemplo, seu formato de arquivo não é suportado pela ferramenta de geração de fragmento. Com as credenciais, é possível gravar seu próprio código para carregar os dados em uma estrutura de dados em uma célula do bloco de notas

Para incluir as credenciais:

  1. Clique no ícone de snippets de código Ícone de fragmentos de código e, em seguida, clique em Read data (Ler dados ).
  2. Clique em uma célula de código vazia em seu bloco de notas, selecione Credencias como a opção de carregamento e, em seguida, carregue as credenciais na célula Também é possível clicar para copiar as credenciais para a área de transferência e colá-las em seu bloco de notas.
  3. Insira suas credenciais no código em seu notebook para acessar os dados. Por exemplo, consulte este código em um blog para Python.

Use uma função de API ou um comando do sistema operacional para acessar os dados

Você pode usar funções de API ou comandos do sistema operacional no notebook para acessar dados, por exemplo, o comando wget para acessar dados usando os protocolos HTTP, HTTPS ou FTP. Ao usar esses tipos de funções e comandos de API, deve-se incluir o código que configura o token de acesso do projeto Veja Incluir manualmente o token de acesso ao projeto.

Para obter informações de referência sobre a API, consulte API de dados e AI Common Core.