Teradata configuração da linhagem

Para importar metadados de linhagem do Teradata, crie uma conexão, uma definição de fonte de dados e uma tarefa de importação de metadados.

Teradata fornece produtos e serviços relacionados a análise e banco de dados.

Versões suportadas

  • Teradata e: versões 12, 13, 14, 15, 16, 17 ou 20.00, incluindo o Vantage (remoto)

Metadados processados

Os seguintes metadados do Teradata são processados e exibidos no Lineage:

  • Dicionários de banco de dados
  • Procedimentos armazenados
  • Scripts do BTEQ
  • Scripts TPT
  • Visualizações
  • Macros

Limitações

As limitações a seguir se aplicam:

  • Os recursos que utilizam código executado dinamicamente por meio da instrução EXECUTE IMMEDIATE não são processados.
  • Os arquivos TPT, BTEQ ou SQL incorporados em um arquivo do tipo “ Linux ”, “ Shell ”, “Windows Batch” ou qualquer outra linguagem de programação não são processados.

Configuração prévia

Antes de importar metadados de linhagem, certifique-se de que os seguintes pré-requisitos estejam atendidos:

  • Você deve ter acesso somente de leitura ao banco de dados DBC (tabelas DBase, TVM, TVFields e índices d All_RI_ChildrenV, ).
  • Você deve ter permissões para executar as instruções SHOW VIEW, SHOW MACRO e SHOW PROCEDURE.
  • O servidor do Teradata deve estar acessível pela rede.

Criação de um recurso de importação de metadados

Conexão da origem de dados

Para se conectar à fonte de dados da qual você deseja importar metadados de linhagem, é necessário selecionar uma definição de fonte de dados e uma conexão. Você pode criá-los antes de iniciar a importação de metadados ou ao criar e configurar o recurso de importação de metadados.

Definição de origem de dados

Selecione “ Teradata ” como tipo de fonte de dados.

Conexão

No campo Banco de dados, forneça o nome do banco de dados onde as tabelas voláteis são criadas.

Para obter detalhes sobre a conexão, consulte a conexão Teradata.

Listas de inclusão e exclusão

É possível incluir ou excluir bancos de dados. Cada parte é avaliada como uma expressão regular. Se os ativos que você adicionar posteriormente na fonte de dados corresponderem às condições especificadas nas listas, eles também poderão ser incluídos ou excluídos. Valores de exemplo:

  • myDB/: todos os bancos de dados e ativos incluídos em myDB,
  • myDB2/.*: todos os bancos de dados e ativos incluídos em myDB2,
  • myDB3/myDB4: Banco de dados myDB4 de myDB3,
  • myDB5/myDB[1-5]: qualquer banco de dados ou outro ativo em myDB5 com um nome que comece com myDB e termine com um dígito entre 1 e 5.

Entradas externas

É possível analisar os fluxos de dados definidos nos scripts BTEQ e TPT que operam no banco de dados configurado. Você pode fornecer scripts SQL externos Teradata como entradas, compactando-os em um arquivo.zip. Você pode organizar o conteúdo do.zip em subpastas que correspondam aos nomes dos bancos de dados. Após o processamento do arquivo, cada script é automaticamente associado ao banco de dados apropriado com base na localização da pasta.

O arquivo de entrada externo deve ter o seguinte formato:

<bteq>
    <script_name.bteq>
    <database_name> - optional
        <script_name.bteq>
<tpt>
    <script_name.tpt>
<tpt_operators>
    <tpt_operator_file_name> OR <tpt_operators.zip>
<tpt_includes>
    <included_file_name>
<tptJobVariables.txt>
<tptIncludesPathReplacements.txt>
replace.csv
connectionsConfiguration.prm

Em que:

Scripts do BTEQ:

  • Os scripts BTEQ devem estar disponíveis no sistema de arquivos como arquivos de script independentes com extensão.bteq (ou equivalente).
  • Os scripts devem conter apenas código BTEQ. Wrappers como scripts de shell do Linux, scripts do PowerShell ou arquivos em lote do Windows não são compatíveis.
  • Se os scripts utilizarem espaços reservados para parâmetros, deve haver um arquivo de mapeamento de parâmetros correspondente no sistema de arquivos. Cada entrada no arquivo deve seguir o formato: placeholderName=actualValue

Scripts do TPT:

  • Os scripts TPT também devem estar disponíveis no sistema de arquivos como arquivos de script independentes com extensão.tpt (ou equivalente).
  • Os scripts devem conter apenas código TPT, sem incorporar shell, PowerShell, ou wrappers de batch de qualquer tipo.
operadores_tpt
Pasta que contém scripts personalizados de operadores ou modelos de operadores que definem operadores produtores e consumidores, esquemas, blocos de atributos e fragmentos de tarefas reutilizáveis. A pasta também pode incluir um .zip arquivo que contenha modelos de operadores. Os modelos de operador podem fazer referência a fragmentos de código localizados no diretório tpt_includes.
tpt_includes
Pasta que contém os arquivos referenciados nos trabalhos por meio de instruções INCLUDE. Esses arquivos geralmente contêm definições de esquema, blocos de operadores, fragmentos de SQL compartilhados ou segmentos de configuração necessários para a expansão completa do script.
tptJobVariables.txt
Arquivo de texto que contém mapeamentos nome-valor para variáveis de tarefa do TPT utilizadas em scripts.

Formato placeholder=valueaceito. Não é permitido usar o símbolo @ no nome do espaço @reservado e em seu valor.

ExemploDBName='WORKDB':.

tptIncludesPathReplacements.txt
Arquivo com mapeamentos chave=valor usado para ajustar caminhos nas diretivas INCLUDE. Esses mapeamentos garantem que os fragmentos de script referenciados sejam resolvidos em relação ao diretório tpt_includes.
replace.csv
Arquivo que contém substituições de marcadores de lugar para scripts incluídos no pacote.zip. Para obter mais informações sobre o formato, consulte Substituições de marcadores de posição.
connectionsConfiguration.prm
Arquivo de parâmetros com definições de conexão usado pelos scripts TPT para referenciar conexões por meio de nomes, em vez de sequências de login diretas.

Opções de importação avançadas

Extrair atributos estendidos
Você pode extrair atributos estendidos, como chave primária, restrições exclusivas e de integridade referencial das colunas. Por padrão, esses atributos não são extraídos.
Extração da lógica de transformação
Você pode ativar a criação de descrições de lógica de transformação a partir do código SQL em scripts SQL.

Saiba Mais


Teradata JDBC Driver 20.00.00.24 Direitos autorais (C) 2024 por Teradata. Todos os direitos reservados. A IBM fornece uso integrado do Driver JDBC Teradata sob licença da Teradata unicamente para uso como parte da oferta de serviço IBM Watson.