IBM Cloud Databases for PostgreSQL configuração da linhagem

Para importar metadados de linhagem de IBM Cloud Databases for PostgreSQL, crie uma conexão, uma definição de fonte de dados e um trabalho de importação de metadados.

IBM Cloud Databases for PostgreSQL é um banco de dados objeto-relacional de código aberto altamente personalizável. É um banco de dados corporativo repleto de recursos com suporte a JSON.

Metadados processados

Os seguintes metadados do IBM Cloud Databases for PostgreSQL são processados e exibidos no Lineage:

  • Dicionários de dados
  • Scripts
  • Visualizações
  • Funções (SQL e PL/pgSQL )
  • Tipos customizados

Limitações

As limitações a seguir se aplicam:

  • Os recursos que utilizam código executado dinamicamente por meio da instrução EXECUTE IMMEDIATE não são processados.
  • Os ativos EDB cujo código-fonte foi ofuscado usando o utilitário EDB*Wrap não são processados (consulte Ofuscando o código-fonte para obter mais detalhes). O código-fonte não ofuscado pode ser fornecido manualmente como entrada d PostgreSQL, a fim de permitir a análise de linhagem.

Configuração prévia

Antes de importar metadados de linhagem, certifique-se de que os seguintes pré-requisitos estejam atendidos:

  • Você deve ter os CONNECT direitos necessários para se conectar a cada banco de dados extraído.
  • pg_catalogVocê deve ter os SELECT direitos (concedidos implicitamente como parte da função "Public") nas seguintes tabelas e visualizações em:
    • pg_database
    • pg_namespace
    • pg_class
    • pg_attribute
    • pg_type
    • pg_proc
    • pg_language
    • pg_description
    • pg_constraint

Criação de um recurso de importação de metadados

Conexão da origem de dados

Para se conectar à fonte de dados da qual você deseja importar metadados de linhagem, é necessário selecionar uma definição de fonte de dados e uma conexão. Você pode criá-los antes de iniciar a importação de metadados ou ao criar e configurar o recurso de importação de metadados.

Definição de origem de dados

Selecione “ PostgreSQL ” como tipo de fonte de dados.

Conexão

Para obter detalhes sobre a conexão, consulte a conexão IBM Cloud Databases for PostgreSQL.

Modo de conexão

Você pode se conectar a IBM Cloud Databases for PostgreSQL usando um dos seguintes modos de conexão:

Listas de inclusão e exclusão

É possível incluir ou excluir ativos até o nível do esquema. Forneça bancos de dados e esquemas no formato banco de dados/esquema. Cada parte é avaliada como uma expressão regular. Os ativos que forem incluídos posteriormente na origem de dados também serão incluídos ou excluídos se corresponderem às condições especificadas nas listas. Valores de exemplo:

  • myDB/: todos os esquemas no banco de dados myDB .
  • myDB2/.*: todos os esquemas no banco de dados myDB2 .
  • myDB3/mySchema1: mySchema1 schema do banco de dados myDB3 .
  • myDB4/mySchema[1-5]em meu banco de dados myDB4 , posso dizer: qualquer esquema com um nome que comece com mySchema e termine com um dígito entre 1 e 5.

Entradas externas

Se você usar scripts SQL externos para IBM Cloud Databases for PostgreSQL, poderá adicioná-los em um arquivo.zip como uma entrada externa. É possível organizar a estrutura de um arquivo .zip como subpastas que representam bancos de dados e esquemas. Depois que os scripts são verificados, eles são incluídos nos respectivos bancos de dados e esquemas no catálogo ou projeto selecionado. O arquivo.zip pode ter a seguinte estrutura:

    <database_name>
        <schema_name>
           <script_name.sql>
    <database_name>
        <script_name.sql>
    <script_name.sql>
    replace.csv

O arquivo replace.csv contém substituições de espaço reservado para os scripts que são adicionados no arquivo.zip. Para obter mais informações sobre o formato, consulte Substituições de espaço reservado.

Opções de importação avançadas

Extrair atributos estendidos
Você pode extrair atributos estendidos, como chave primária, restrições exclusivas e de integridade referencial das colunas. Por padrão, esses atributos não são extraídos.
Modo de extração
Você pode decidir qual modo de extração será executado para os metadados importados. Você tem as opções a seguir:
  • Prefetch: use-o para bancos de dados relacionais.
  • Em massa paralelo: use-o para mecanismos de processamento analítico.
  • Encadeamento único: use-o para evitar paralelismo e consultas grandes durante a extração. Ao selecionar esse modo, o desempenho poderá ser baixo.
Extração da lógica de transformação
Você pode ativar a criação de descrições de lógica de transformação a partir do código SQL em scripts SQL.

Saiba Mais