Trabalhar com métodos de entrega

O Data Product Hub fornece várias opções para entregar produtos de dados para o consumidor. Cada item em um produto de dados pode ser entregue usando métodos diferentes. O tipo de conector determina os métodos de entrega disponíveis

Configurando métodos de entrega

Para ativar ou desativar um método de entrega, acesse Configuração e definições > Entrega e clique no botão de alternância correspondente ao método de entrega.

Tipos de métodos de entrega para o Data Product Hub

Você pode configurar seu produto de dados para ser entregue pelos seguintes métodos de entrega, dependendo do tipo de conector:

  • Método de entrega personalizado
  • Baixando diretamente de um URL
  • Download de uma extração de dados de uma fonte de dados conectada ao destino
  • Abertura de um URL
  • Acesso a um produto de dados com o Flight service
  • Acesso em watsonx.data
  • Entregar em watsonx.data
  • Acesso em Azure Databricks
Tipos de métodos de entrega
Nome Descrição Notas
Método de entrega personalizado Determina como os consumidores recebem seu produto de dados. Após a assinatura, o consumidor verá as informações necessárias para acessar os dados no painel de assinatura.
Baixe aqui Os consumidores recebem um e-mail URL para baixar um produto de dados de uma conexão. Requer uma conexão de origem de dados que suporte o download
Extração de dados Os consumidores podem fazer download de um produto de dados como um arquivo extraído de uma conexão de destino. Requer duas conexões: uma conexão de origem e uma conexão de destino. Também requer um projeto padrão.
Abrir URL Os consumidores recebem um URL para acessar diretamente um produto de dados. Não requer conexão de origem de dados.
Acesso ao vivo comFlight service Os consumidores recebem um trecho de código para se conectar a uma fonte de dados e receber um produto de dados. O trecho de código fornecido pode ser adicionado a notebooks e outros aplicativos.
Acesso em watsonx.data Os consumidores podem acessar o produto de dados que é criado a partir da instância watsonx.data. Requer acesso a watsonx.data e a um mecanismo Presto
Entregar em watsonx.data Os consumidores acessam seu produto de dados como uma tabela em watsonx.data. Não oferece suporte a cluster habilitado para FIPS em 5.2.0
Acesso em Azure Databricks Os consumidores acessam seus dados como uma tabela em Azure Databricks. Os consumidores devem ter acesso a Azure Databricks.

A extração de dados, o acesso em tempo real com serviço de voo e a entrega para métodos de entrega watsonx.data suportam os seguintes formatos de dados de origem: CSV, Excel, Avro, Delimitado, JSON, Parquet, ORV, SAV, XML e Tabelas em fontes de dados relacionais.

Baixe aqui

O método de entrega Download gera um URL que permite aos consumidores fazer o download diretamente de uma fonte de dados conectada.

Abrir URL

O método de entrega Open URL fornece um URL que aponta para um site que contém os itens em um produto de dados.

Extração de dados

Você pode extrair dados de um banco de dados e entregar a extração como um arquivo aos consumidores. O método de entrega de extração de dados requer duas conexões, uma para conectar-se ao banco de dados do qual você está extraindo (a origem) e outra conexão para entregar o arquivo ao consumidor (o destino). Para ver quais conectores suportam conexões de origem e destino para extrações de dados, consulte Métodos de entrega para conectores.

O método de entrega de extração de dados requer um projeto padrão. O projeto padrão é criado automaticamente para você durante a instalação.

A conexão de destino é um local de armazenamento de arquivos usado exclusivamente para armazenar extrações de dados. Essa conexão entrega o extrato aos consumidores por meio de um download URL. Como as extrações de dados podem ser grandes, recomenda-se um local de armazenamento de arquivos com capacidade adequada. As conexões de destino exigem credenciais de leitura/gravação.

Crie duas conexões para o método de entrega de extração de dados:

  • Conexão de origem: A conexão de origem é o local onde você extrai os dados.
  • Conexão de destino: A conexão de destino é o local onde o arquivo extraído é armazenado e onde os consumidores baixam uma extração de dados de um site URL.

O método de entrega de extração de dados suporta os seguintes tipos de arquivos de destino: Avro, CSV, texto delimitado, Excel, JSON, ORC, Parquet, SAV e XML.

Acesso ao vivo comFlight service

O Flight service fornece uma interface única para acesso em tempo real a muitas fontes de dados diferentes por meio de uma API comum de código aberto. O acesso à fonte de dados através do método de entrega Flight service é regido pelas credenciais de entrega especificadas pelo Produtor quando o produto de dados foi criado. As credenciais de entrega normalmente têm acesso somente leitura à fonte de dados para garantir que os consumidores possam apenas ler os dados ao se inscreverem. Para determinar se sua fonte de dados é compatível com o Flight service, consulte Métodos de entrega para conectores.

Quando você assina um produto de dados e seleciona a entrega pelo site Flight service, é fornecido um Flight URL. Você faz o download de um trecho de código em sua linguagem preferida ( Python ou R). O trecho de código contém um ID de ativo e um ID de catálogo para se conectar a uma fonte de dados e receber a entrega dos itens em um produto de dados. O trecho de código pode ser inserido em um bloco de notas e em outros aplicativos.

Você também pode acessar os dados de forma programática usando um cliente Arrow. As bibliotecas Arrow estão disponíveis para C, C++, C#, Go, Java, JavaScript, Julia, MATLAB, Python, R e Ruby. Consulte Apache Arrow para obter instruções sobre como instalar as bibliotecas de cada idioma.

Consulte o exemplo do cliente Flight para ver um exemplo de como acessar seu produto de dados usando Python.

Por padrão, o Flight service está disponível apenas para a instância do Cloud Pak for Data que o está executando. Se você quiser fornecer produtos de dados usando o Flight service a partir de uma fonte de dados externa, o administrador do Cloud Pak for Data deverá configurar uma rota externa. Para obter detalhes, consulte Configuração de uma rota externa para o site Flight service na documentação IBM Software Hub.

Para obter mais informações sobre Arrow Flight RPC, consulte Arrow Flight RPC.

Acesso em watsonx.data

O acesso em um método de entrega “ watsonx.data ” fornece aos consumidores acesso a um produto de dados contendo ativos de dados de um lakehouse “ watsonx.data ”.

Pré-requisitos para produtores de dados:

Um produtor de dados deve ter as seguintes funções para criar um produto de dados a partir de ativos de dados no watsonx.data.

Funções necessárias:
Data Product Hub função na comunidade: Editor ou Administrador
watsonx.data papéis de casa de lago:

watsonx.data função de instância: Usuário

Função no catálogo: Administrador

Presto função do mecanismo: Usuário

Função do motor Spark: Usuário
Se você deseja conceder aos consumidores acesso ao mecanismo, é necessário ter a função de administrador.

Um produtor de dados pode habilitar esse método de entrega seguindo as etapas a seguir:

  1. Crie uma conexão watsonx.data Presto em Data Product Hub. As credenciais na conexão Presto serão usadas para criar uma política de acesso em watsonx.data para conceder aos consumidores acesso a uma tabela específica.
  2. Crie um produto de dados incluindo ativos de dados usando a conexão watsonx.data Presto.
  3. Selecione o método de entrega Access in watsonx.data. Durante a assinatura, o consumidor tem acesso à mesa no watsonx.data lakehouse.
  4. Opcional: Permitir o acesso dos consumidores a um mecanismo Presto.
  5. Publicar o produto de dados.

Pré-requisitos para consumidores de dados

Um consumidor deve ter as seguintes funções para se inscrever em um produto de dados e acessar os dados em watsonx.data.

Funções necessárias:
Data Product Hub funções na comunidade: Editor ou Visualizador
watsonx.data função lakehouse: Usuário

Os consumidores podem assinar um produto de dados com esse método de entrega seguindo as etapas a seguir:

  • watsonx.data link do console : Para facilitar o acesso aos dados fornecidos em watsonx.data.
  • Ativo de dados : detalhes específicos de catálogo, esquema e tabela, que podem ser visualizados na exibição do Gerenciador de dados em watsonx.data
  • Seleção do motor : Você pode escolher Presto entre Spark ou ambos. Se o produtor de dados ativou o Presto ou o Spark durante a criação do produto de dados, você pode usar o mecanismo selecionado para executar consultas SQL na tabela.

Após assinar o produto de dados, as instruções de configuração serão exibidas e você poderá copiar o link das seguintes opções de acesso preferenciais:

  • SQL
  • Representational State Transfer
  • Mecanismo de cálculo
  • JDBC/ODBC

Mais detalhes sobre a assinatura podem ser obtidos na página Minhas assinaturas.

Entregar em watsonx.data

O método de entrega “deliver to watsonx.data ” permite que os consumidores acessem seu produto de dados como uma tabela dentro de sua instância do watsonx.data. Ele funciona armazenando os dados como um arquivo CSV em um bucket IBM Cloud Object Storage e, em seguida, usando uma tarefa de ingestão em watsonx.data para carregar o CSV na tabela especificada. Os usuários com as permissões apropriadas podem criar novas tabelas ou anexar dados às existentes. O método de entrega para watsonx.data requer um projeto padrão.

Pré-requisitos para consumidores de dados

Funções Necessárias

Data Product Hub função na comunidade: Editor

watsonx.data papéis de casa de lago:

Funções de acesso ao serviço: MetastoreAdmin ou superior
Catálogo de iceberg de alvos: Usuário
Você também pode criar uma política de acesso que conceda permissão para usar o catálogo. Para obter mais informações, consulte Gerenciamento da política de dados na documentação watsonx.data.
Mecanismo Spark conectado ao catálogo de destino: Usuário
Presto função do mecanismo: Usuário
Armazenamento usado para o catálogo de destino: Writer ou superior
Cloud Object Storage : Adicione como um componente na casa do lago watsonx.data. A extração de dados chegará aqui antes de ser ingerida em watsonx.data.

Os consumidores devem criar duas conexões em Data Product Hub :

  1. Cloud Object Storage : Adicione uma conexão usando a mesma conexão que watsonx.data. Você deve usar as credenciais HMAC para configurar a chave de acesso e a chave secreta ou o método de autenticação das credenciais de serviço.
  2. IBM watsonx.data Presto : Copie o trecho JSON fornecido em watsonx.data Presto engine instance e cole-o ao criar uma nova conexão.

Acesso em Azure Databricks

O método de entrega Access in Azure Databricks fornece aos consumidores acesso a um produto de dados que contém ativos de dados de Azure Databricks.

Um administrador de cluster deve configurar a saída para permitir chamadas de API externas para Azure Databricks. Para obter mais detalhes, consulte Definir política de rede de saída personalizada.

Pré-requisitos para produtores de dados:

Um produtor de dados deve ter as seguintes funções para criar um produto de dados a partir de ativos de dados no Azure Databricks.

Funções necessárias:
Data Product Hub função na comunidade: Editor ou Administrador
Azure Databricks funções:
Acesso ao armazenamento SQL no Databricks
TODOS OS PRIVILÉGIOS ou GERENCIAR acesso no catálogo, esquema, tabela

Um produtor de dados pode habilitar esse método de entrega seguindo as etapas a seguir:

  1. Crie uma conexão Azure Databricks em Data Product Hub. As credenciais na conexão concedem aos consumidores acesso a uma tabela específica em Azure Databricks.
  2. Crie um produto de dados incluindo ativos de dados usando a conexão criada na etapa 1.
  3. Selecione o método de entrega “Acesse em Azure Databricks ”. Durante a assinatura, o consumidor tem acesso à tabela em Azure Databricks.
  4. Publicar o produto de dados.

Pré-requisitos para consumidores de dados:

Um consumidor deve ter as seguintes funções para se inscrever em um produto de dados e acessar os dados em Azure Databricks

Funções necessárias:
Data Product Hub funções na comunidade: Editor ou Visualizador
Azure Databricks : Acesso ao SQL Warehouse

Os consumidores podem assinar um produto de dados com esse método de entrega e acessar o ativo de dados seguindo as etapas a seguir:

  1. O catálogo, o esquema e a tabela específicos podem ser visualizados na interface do usuário do Databricks selecionando Catálogo na janela esquerda e navegando até o esquema e a tabela.
  2. Os detalhes podem ser obtidos na assinatura na página Minhas assinaturas.

Saiba mais

Métodos de entrega para conectores