Amazon RDS for PostgreSQL configuração da linhagem

Para importar metadados de linhagem de Amazon RDS for PostgreSQL, crie uma conexão, uma definição de fonte de dados e um trabalho de importação de metadados.

Amazon RDS for PostgreSQL é um banco de dados relacional PostgreSQL que é executado no Amazon Relational Database Service (RDS).

Metadados processados

Os seguintes metadados do Amazon RDS for PostgreSQL são processados e exibidos no Lineage:

  • Dicionários de dados
  • Scripts
  • Visualizações
  • Funções (SQL e PL/pgSQL )
  • Tipos customizados

Limitações

Os seguintes dados não são processados:

  • Recursos que utilizam código executado dinamicamente por meio da instrução EXECUTE IMMEDIATE.
  • Recursos EDB cujo código-fonte foi ofuscado por meio do utilitário EDB*Wrap. Você pode fornecer manualmente um código-fonte não ofuscado como arquivo de entrada do ` PostgreSQL `. Para mais detalhes, consulte “Ofuscando o código-fonte ”.

Configuração pré-requisita

Antes de importar metadados de linhagem, certifique-se de que os seguintes pré-requisitos estejam atendidos:

  • Você deve ter os CONNECT direitos necessários para se conectar a cada banco de dados extraído.
  • Você deve ter os SELECT direitos de acesso às seguintes tabelas e visualizações no pg_catalog. Esses direitos estão incluídos na função “Público”.
    • pg_database
    • pg_namespace
    • pg_class
    • pg_attribute
    • pg_type
    • pg_proc
    • pg_language
    • pg_description

Criação de um recurso de importação de metadados

Conexão da origem de dados

Para se conectar à fonte de dados da qual você deseja importar metadados de linhagem, é necessário selecionar uma definição de fonte de dados e uma conexão. Você pode criá-los antes de iniciar a importação de metadados ou ao criar e configurar o recurso de importação de metadados.

Definição de origem de dados

Selecione “ PostgreSQL ” como tipo de fonte de dados.

Conexão

Para obter detalhes sobre a conexão, consulte a conexão Amazon RDS for PostgreSQL.

Modo de conexão

Você pode se conectar a Amazon RDS for PostgreSQL usando um dos seguintes modos de conexão:

Listas de inclusão e exclusão

É possível incluir ou excluir ativos até o nível do esquema. Forneça bancos de dados e esquemas no formato banco de dados/esquema. Cada parte é avaliada como uma expressão regular. Os ativos que forem incluídos posteriormente na origem de dados também serão incluídos ou excluídos se corresponderem às condições especificadas nas listas. Valores de exemplo:

  • myDB/: todos os esquemas no banco de dados myDB .
  • myDB2/.*: todos os esquemas no banco de dados myDB2 .
  • myDB3/mySchema1: mySchema1 schema do banco de dados myDB3 .
  • myDB4/mySchema[1-5]em meu banco de dados myDB4 , posso dizer: qualquer esquema com um nome que comece com mySchema e termine com um dígito entre 1 e 5.

Entradas externas

Se você usar scripts SQL externos para Amazon RDS for PostgreSQL, poderá adicioná-los em um arquivo.zip como uma entrada externa. É possível organizar a estrutura de um arquivo .zip como subpastas que representam bancos de dados e esquemas. Depois que os scripts são verificados, eles são incluídos nos respectivos bancos de dados e esquemas no catálogo ou projeto selecionado. O arquivo.zip pode ter a seguinte estrutura:

    <database_name>
        <schema_name>
           <script_name.sql>
    <database_name>
        <script_name.sql>
    <script_name.sql>
    replace.csv

O arquivo replace.csv contém substituições de espaço reservado para os scripts que são adicionados no arquivo.zip. Para obter mais informações sobre o formato, consulte Substituições de espaço reservado.

Opções de importação avançadas

Extrair atributos estendidos
Você pode extrair atributos estendidos, como chave primária, restrições exclusivas e de integridade referencial das colunas. Por padrão, esses atributos não são extraídos.
Modo de extração
Você pode decidir qual modo de extração será executado para os metadados importados. Você tem as opções a seguir:
  • Prefetch: use-o para bancos de dados relacionais.
  • Em massa paralelo: use-o para mecanismos de processamento analítico.
  • Encadeamento único: use-o para evitar paralelismo e consultas grandes durante a extração. Ao selecionar esse modo, o desempenho poderá ser baixo.
Extração da lógica de transformação
Você pode ativar a criação de descrições de lógica de transformação a partir do código SQL em scripts SQL.

Saiba Mais