Teradata configuração da linhagem
Para importar metadados de linhagem do Teradata, crie uma conexão, uma definição de fonte de dados e uma tarefa de importação de metadados.
Teradata fornece produtos e serviços relacionados a análise e banco de dados.
Versões suportadas
- Teradata e: versões 12, 13, 14, 15, 16, 17 ou 20.00, incluindo o Vantage (remoto)
Metadados processados
Os seguintes metadados do Teradata são processados e exibidos no Lineage:
- Dicionários de banco de dados
- Procedimentos armazenados
- Scripts do BTEQ
- Scripts TPT
- Visualizações
- Macros
Limitações
As limitações a seguir se aplicam:
- Os recursos que utilizam código executado dinamicamente por meio da instrução EXECUTE IMMEDIATE não são processados.
- Os arquivos TPT, BTEQ ou SQL incorporados em um arquivo do tipo “ Linux ”, “ Shell ”, “Windows Batch” ou qualquer outra linguagem de programação não são processados.
Configuração prévia
Antes de importar metadados de linhagem, certifique-se de que os seguintes pré-requisitos estejam atendidos:
- Você deve ter acesso somente de leitura ao banco de dados DBC (tabelas DBase, TVM, TVFields e índices d All_RI_ChildrenV, ).
- Você deve ter permissões para executar as instruções SHOW VIEW, SHOW MACRO e SHOW PROCEDURE.
- O servidor do Teradata deve estar acessível pela rede.
Criação de um recurso de importação de metadados
Conexão da origem de dados
Para se conectar à fonte de dados da qual você deseja importar metadados de linhagem, é necessário selecionar uma definição de fonte de dados e uma conexão. Você pode criá-los antes de iniciar a importação de metadados ou ao criar e configurar o recurso de importação de metadados.
Definição de origem de dados
Selecione “ Teradata ” como tipo de fonte de dados.
Conexão
No campo Banco de dados, forneça o nome do banco de dados onde as tabelas voláteis são criadas.
Para obter detalhes sobre a conexão, consulte a conexão Teradata.
Listas de inclusão e exclusão
É possível incluir ou excluir bancos de dados. Cada parte é avaliada como uma expressão regular. Se os ativos que você adicionar posteriormente na fonte de dados corresponderem às condições especificadas nas listas, eles também poderão ser incluídos ou excluídos. Valores de exemplo:
myDB/: todos os bancos de dados e ativos incluídos emmyDB,myDB2/.*: todos os bancos de dados e ativos incluídos emmyDB2,myDB3/myDB4: Banco de dadosmyDB4demyDB3,myDB5/myDB[1-5]: qualquer banco de dados ou outro ativo emmyDB5com um nome que comece commyDBe termine com um dígito entre 1 e 5.
Entradas externas
É possível analisar os fluxos de dados definidos nos scripts BTEQ e TPT que operam no banco de dados configurado. Você pode fornecer scripts SQL externos Teradata como entradas, compactando-os em um arquivo.zip. Você pode organizar o conteúdo do.zip em subpastas que correspondam aos nomes dos bancos de dados. Após o processamento do arquivo, cada script é automaticamente associado ao banco de dados apropriado com base na localização da pasta.
O arquivo de entrada externo deve ter o seguinte formato:
<bteq>
<script_name.bteq>
<database_name> - optional
<script_name.bteq>
<tpt>
<script_name.tpt>
<tpt_operators>
<tpt_operator_file_name> OR <tpt_operators.zip>
<tpt_includes>
<included_file_name>
<tptJobVariables.txt>
<tptIncludesPathReplacements.txt>
replace.csv
connectionsConfiguration.prm
Em que:
Scripts do BTEQ:
- Os scripts BTEQ devem estar disponíveis no sistema de arquivos como arquivos de script independentes com extensão.bteq (ou equivalente).
- Os scripts devem conter apenas código BTEQ. Wrappers como scripts de shell do Linux, scripts do PowerShell ou arquivos em lote do Windows não são compatíveis.
- Se os scripts utilizarem espaços reservados para parâmetros, deve haver um arquivo de mapeamento de parâmetros correspondente no sistema de arquivos. Cada entrada no arquivo deve seguir o formato: placeholderName=actualValue
Scripts do TPT:
- Os scripts TPT também devem estar disponíveis no sistema de arquivos como arquivos de script independentes com extensão.tpt (ou equivalente).
- Os scripts devem conter apenas código TPT, sem incorporar shell, PowerShell, ou wrappers de batch de qualquer tipo.
- operadores_tpt
- Pasta que contém scripts personalizados de operadores ou modelos de operadores que definem operadores produtores e consumidores, esquemas, blocos de atributos e fragmentos de tarefas reutilizáveis. A pasta também pode incluir um
.ziparquivo que contenha modelos de operadores. Os modelos de operador podem fazer referência a fragmentos de código localizados no diretório tpt_includes. - tpt_includes
- Pasta que contém os arquivos referenciados nos trabalhos por meio de instruções INCLUDE. Esses arquivos geralmente contêm definições de esquema, blocos de operadores, fragmentos de SQL compartilhados ou segmentos de configuração necessários para a expansão completa do script.
- tptJobVariables.txt
- Arquivo de texto que contém mapeamentos nome-valor para variáveis de tarefa do TPT utilizadas em scripts.
Formato placeholder=valueaceito. Não é permitido usar o símbolo @ no nome do espaço @reservado e em seu valor.
ExemploDBName='WORKDB':.
- tptIncludesPathReplacements.txt
- Arquivo com mapeamentos chave=valor usado para ajustar caminhos nas diretivas INCLUDE. Esses mapeamentos garantem que os fragmentos de script referenciados sejam resolvidos em relação ao diretório tpt_includes.
- replace.csv
- Arquivo que contém substituições de marcadores de lugar para scripts incluídos no pacote.zip. Para obter mais informações sobre o formato, consulte Substituições de marcadores de posição.
- connectionsConfiguration.prm
- Arquivo de parâmetros com definições de conexão usado pelos scripts TPT para referenciar conexões por meio de nomes, em vez de sequências de login diretas.
Opções de importação avançadas
- Extrair atributos estendidos
- Você pode extrair atributos estendidos, como chave primária, restrições exclusivas e de integridade referencial das colunas. Por padrão, esses atributos não são extraídos.
- Extração da lógica de transformação
- Você pode ativar a criação de descrições de lógica de transformação a partir do código SQL em scripts SQL.
Saiba Mais
Teradata JDBC Driver 20.00.00.24 Direitos autorais (C) 2024 por Teradata. Todos os direitos reservados. A IBM fornece uso integrado do Driver JDBC Teradata sob licença da Teradata unicamente para uso como parte da oferta de serviço IBM Watson.