Microsoft SQL Server configuração da linhagem

Para importar metadados de linhagem de Microsoft SQL Server, crie uma conexão, uma definição de fonte de dados e um trabalho de importação de metadados.

Microsoft SQL Server é um sistema de gerenciamento de banco de dados relacional.

Versões compatíveis do Microsoft SQL Server

  • Microsoft SQL Server 2022.

Metadados processados

Os seguintes metadados do Microsoft SQL Server são processados e exibidos no lineage:

  • Dicionários de dados
  • scripts SQL
  • Scripts T-SQL
  • Procedimentos armazenados
  • Funções
  • Acionador

Limitações

Os seguintes dados não são processados:

  • Extração da hierarquia de objetos referenciados por meio de código SQL executado dinamicamente usando EXECUTE IMMEDIATE.
  • Extração de histórico para movimentações de dados implementadas por INSERT INTO meio de instruções ou UPDATE que operam sobre um OPENQUERY.
  • Extração da linhagem para transformações implementadas por meio de OPENXML.
  • Extração de linhagem para acesso a dados externos realizada por meio de OPENROWSET.
  • O Lineage utiliza funções escalares do tipo ` ODBC `, conforme descrito na documentação da Microsoft. Em vez disso, use funções SQL padrão.
  • Objetos renomeados por meio do sp_rename procedimento. Devido a limitações do sp_rename procedimento, o nome atualizado do objeto não é refletido na linhagem.
  • Extração da linhagem de objetos criptografados, como procedimentos armazenados ou visualizações, conforme descrito na documentação da Microsoft.
  • Autenticação utilizando tanto contas de serviço gerenciadas independentes quanto contas de serviço gerenciadas em grupo.

Configuração prévia

Antes de importar metadados de linhagem, certifique-se de que os seguintes pré-requisitos estejam atendidos:

  • Você tem os seguintes direitos:

    • CONNECT SQL para se conectar ao servidor. Para o Synapse Analytics d Azure, apenas CONNECT SQL é necessário.

    • EXIBIRA QUALQUER BANCO DE DADOS para extrair a lista dos bancos de dados existentes.

    • ALTER ANY LINKED SERVER para extrair definições de servidores vinculados, pois não há permissão de somente leitura disponível para esse tipo de metadados.

    • Em cada banco de dados extraído:

    • EXIBIÇÃO DE DEFINIÇÃO ou EXIBIÇÃO DE QUALQUER DEFINIÇÃO no nível do servidor para extrair definições de objetos.

    • MSSQL = SQL Server (2008 e versões posteriores)

      • Selecione em sys.sql_expression_dependencies para extrair as dependências do objeto.

      • INFORMATION_SCHEMASELECT nas seguintes visualizações em:

        • COLUMNS
        • TABLES
        • ROUTINES
        • VIEWS

      • sysSELECT nas seguintes tabelas em:

        • synonyms
        • triggers
        • server_triggers
        • server_sql_modules
        • extended_properties
        • servers
        • all_objects
        • tables
        • index_columns
        • indexes
        • foreign_key_columns
        • sequences
        • table_types

Criação de um recurso de importação de metadados

Conexão da origem de dados

Para se conectar à fonte de dados da qual você deseja importar metadados de linhagem, é necessário selecionar uma definição de fonte de dados e uma conexão. Você pode criá-los antes de iniciar a importação de metadados ou ao criar e configurar o recurso de importação de metadados.

Definição de origem de dados

Selecione “ Microsoft SQL Server ” como tipo de fonte de dados.

Conexão

Para obter detalhes sobre a conexão, consulte a conexão Microsoft SQL Server.

Listas de inclusão e exclusão

É possível incluir ou excluir ativos até o nível do esquema. Forneça bancos de dados e esquemas no formato banco de dados/esquema. Cada parte é avaliada como uma expressão regular. Os ativos que forem incluídos posteriormente na origem de dados também serão incluídos ou excluídos se corresponderem às condições especificadas nas listas. Valores de exemplo:

  • myDB/: todos os esquemas no banco de dados myDB .
  • myDB2/.*: todos os esquemas no banco de dados myDB2 .
  • myDB3/mySchema1: mySchema1 schema do banco de dados myDB3 .
  • myDB4/mySchema[1-5]em meu banco de dados myDB4 , posso dizer: qualquer esquema com um nome que comece com mySchema e termine com um dígito entre 1 e 5.

Entradas externas

Se você usar scripts SQL e T-SQL externos para Microsoft SQL Server, poderá adicioná-los em um arquivo.zip como uma entrada externa. É possível organizar a estrutura de um arquivo .zip como subpastas que representam bancos de dados e esquemas. Depois que os scripts são verificados, eles são incluídos nos respectivos bancos de dados e esquemas no catálogo ou projeto selecionado. O arquivo.zip pode ter a seguinte estrutura:

    <database_name>
        <schema_name>
           <script_name.sql>
    <database_name>
        <script_name.sql>
    <script_name.sql>
    replace.csv
    linkedServerConnectionsConfiguration.prm

O arquivo replace.csv contém substituições de espaço reservado para os scripts que são adicionados no arquivo.zip. Para obter mais informações sobre o formato, consulte Substituições de espaço reservado.

O arquivo linkedServerConnectionsConfiguration.prm contém definições de conexão de servidor vinculadas. A estrutura a seguir define uma única conexão:

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}

Opções de importação avançadas

Extrair atributos estendidos
Você pode extrair atributos estendidos, como chave primária, restrições exclusivas e de integridade referencial das colunas. Por padrão, esses atributos não são extraídos.
Modo de extração
Você pode decidir qual modo de extração será executado para os metadados importados. Você tem as opções a seguir:
  • Prefetch: use-o para bancos de dados relacionais.
  • Em massa paralelo: use-o para mecanismos de processamento analítico.
  • Encadeamento único: use-o para evitar paralelismo e consultas grandes durante a extração. Ao selecionar esse modo, o desempenho poderá ser baixo.
Extração da lógica de transformação
Você pode ativar a criação de descrições de lógica de transformação a partir do código SQL em scripts SQL.

Saiba Mais