YugabyteDB configuração de linhagem

Para importar metadados de linhagem a partir de uma definição de fonte de dados d YugabyteDB,, bem como de uma tarefa de importação de metadados.

YugabyteDB é um banco de dados SQL distribuído que suporta cargas de trabalho transacionais e analíticas globalmente escaláveis e tolerantes a falhas, com compatibilidade com o PostgreSQL.

Versões suportadas

YugabyteDB 2.23.0

Metadados processados

Os seguintes metadados do YugabyteDB são processados e exibidos no Lineage:

Dicionários de dados
Scripts
Visualizações
Funções (SQL e PL/pgSQL )
Tipos customizados

Limitações

As limitações a seguir se aplicam:

Recursos que utilizam código executado dinamicamente por meio da instrução EXECUTE IMMEDIATE.
Recursos EDB cujo código-fonte foi ofuscado por meio do utilitário EDB*Wrap. Você pode fornecer manualmente um código-fonte não ofuscado como arquivo de entrada do ` PostgreSQL `. Para mais detalhes, consulte “Ofuscando o código-fonte ”.

Configuração prévia

Antes de importar metadados de linhagem, certifique-se de que os seguintes pré-requisitos estejam atendidos:

Você deve ter os CONNECT direitos necessários para se conectar a cada banco de dados extraído.
Você deve ter os SELECT direitos de acesso às seguintes tabelas e visualizações no pg_catalog. Esses direitos estão incluídos na função “Público”.
- pg_database
- pg_namespace
- pg_class
- pg_attribute
- pg_type
- pg_proc
- pg_language
- pg_description
- pg_shdescription

Criação de um recurso de importação de metadados

Conexão da origem de dados

Para se conectar à fonte de dados da qual você deseja importar metadados de linhagem, é necessário selecionar uma definição de fonte de dados e uma conexão. Você pode criá-los antes de iniciar a importação de metadados ou ao criar e configurar o recurso de importação de metadados.

Definição de origem de dados

Selecione “ PostgreSQL ” como tipo de fonte de dados.

Conexão

Para obter detalhes de conexão, consulte Conexão PostgreSQL.

Modo de conexão

Você pode se conectar ao YugabyteDB usando um dos seguintes modos de conexão:

Conexão direta
Conexão remota com um agente Manta. Quando um agente estiver configurado, selecione-o na lista. Para obter mais informações, consulte Configurando agentes para a importação de metadados de linhagem.

Listas de inclusão e exclusão

É possível incluir ou excluir ativos até o nível do esquema. Forneça bancos de dados e esquemas no formato banco de dados/esquema. Cada parte é avaliada como uma expressão regular. Os ativos que forem incluídos posteriormente na origem de dados também serão incluídos ou excluídos se corresponderem às condições especificadas nas listas. Valores de exemplo:

myDB/: todos os esquemas no myDB banco de dados.
myDB2/.*: todos os esquemas no myDB2 banco de dados.
myDB3/mySchema1: mySchema1 esquema do myDB3 banco de dados.
myDB4/mySchema[1-5]: qualquer esquema no meu myDB4 banco de dados cujo nome comece com mySchema e termine com um dígito entre 1 e 5.

Entradas externas

Se você usar scripts SQL externos do YugabyteDB, poderá adicioná-los em um arquivo.zip como entrada externa. É possível organizar a estrutura de um arquivo .zip como subpastas que representam bancos de dados e esquemas. Depois que os scripts são verificados, eles são incluídos nos respectivos bancos de dados e esquemas no catálogo ou projeto selecionado. O arquivo.zip pode ter a seguinte estrutura:

    <database_name>
        <schema_name>
           <script_name.sql>
    <database_name>
        <script_name.sql>
    <script_name.sql>
    replace.csv

O replace.csv arquivo contém substituições de marcadores de lugar para os scripts incluídos no arquivo.zip. Para obter mais informações sobre o formato, consulte Substituições de marcadores de posição.

Opções de importação avançadas

Extrair atributos estendidos: É possível extrair atributos estendidos, como chave primária e restrições de integridade única e referencial das colunas. Por padrão, esses atributos não são extraídos.
Modo de extração: Você pode decidir qual modo de extração deseja executar para os metadados importados. Você tem as opções a seguir:

Pré-busca: use-a para bancos de dados relacionais.
Em massa paralelo: use-o para mecanismos de processamento analítico.
Encadeamento único: use-o para evitar paralelismo e consultas grandes durante a extração. Ao selecionar esse modo, o desempenho poderá ser baixo.

Extração da lógica de transformação: É possível habilitar a geração de descrições da lógica de transformação a partir de código SQL em scripts SQL.

Saiba Mais

YugabyteDB página