Configuração da linhagem do Microsoft Azure SQL Database

Para importar metadados de linhagem do Microsoft Azure SQL Database, crie uma conexão, uma definição de fonte de dados e uma tarefa de importação de metadados.

O Microsoft Azure SQL Database é um banco de dados gerenciado na nuvem fornecido como parte do Microsoft Azure.

Metadados processados

Os seguintes metadados do Microsoft Azure SQL Database são processados e exibidos no lineage:

  • Dicionários de dados
  • scripts SQL
  • Scripts T-SQL
  • Procedimentos armazenados
  • Funções
  • Acionador

Limitações

Os seguintes dados não são processados:

  • Extração da linhagem de objetos referenciados por meio de código SQL executado dinamicamente usando EXECUTE IMMEDIATE.
  • Extração de histórico para movimentações de dados implementadas por INSERT INTO meio de instruções ou UPDATE que operam sobre OPENQUERY.
  • Extração da linhagem para transformações implementadas por meio de OPENXML.
  • Extração de linhagem para acesso a dados externos realizada por meio de OPENROWSET.
  • O Lineage utiliza funções escalares do tipo ` ODBC `, conforme descrito na documentação da Microsoft. Em vez disso, use funções SQL padrão.
  • Objetos renomeados usando sp_rename. Devido a essas sp_rename limitações, o nome atualizado do objeto não é refletido na linhagem.
  • Extração de linhagem para objetos criptografados, tais como: procedimentos armazenados ou visualizações, conforme descrito na documentação da Microsoft.
  • Autenticação que utiliza tanto contas de serviço gerenciadas independentes quanto contas de serviço gerenciadas em grupo.

Configuração prévia

Antes de importar metadados de linhagem, certifique-se de que os seguintes pré-requisitos estejam atendidos:

  • Você tem os seguintes direitos:

    • CONNECT SQL para se conectar ao servidor. Para o Azure Synapse Analytics, é necessário apenas CONNECT SQL

    • ACESSE QUALQUER BANCO DE DADOS para extrair a lista dos bancos de dados existentes

    • ALTER ANY LINKED SERVER para extrair definições de servidores vinculados, pois não há permissão de somente leitura disponível para esse tipo de metadados

    • Em cada banco de dados extraído:

      • EXIBIR DEFINIÇÃO ou EXIBIR QUALQUER DEFINIÇÃO no nível do servidor para extrair definições de objetos

      • MSSQL = SQL Server (2008 e versões posteriores)

      • SELECT em sys.sql_expression_dependencies para extrair dependências de objetos

      • INFORMATION_SCHEMASELECT nas seguintes visualizações em:

        • COLUMNS
        • TABLES
        • ROUTINES
        • VIEWS

      • sysSELECT nas seguintes tabelas em:

        • synonyms
        • triggers
        • server_triggers
        • server_sql_modules
        • extended_properties
        • servers
        • all_objects
        • tables
        • index_columns
        • indexes
        • foreign_key_columns
        • sequences
        • table_types

Criação de um recurso de importação de metadados

Conexão da origem de dados

Para se conectar à fonte de dados da qual você deseja importar metadados de linhagem, é necessário selecionar uma definição de fonte de dados e uma conexão. Você pode criá-los antes de iniciar a importação de metadados ou ao criar e configurar o recurso de importação de metadados.

Definição de origem de dados

Selecione “ Azure SQL Database ” da Microsoft como tipo de fonte de dados.

Conexão

Para obter detalhes sobre a conexão, consulte Conexão com o Microsoft Azure SQL Database.

Listas de inclusão e exclusão

É possível incluir ou excluir ativos até o nível do esquema. Forneça bancos de dados e esquemas no formato banco de dados/esquema. Cada parte é avaliada como uma expressão regular. Os ativos que forem incluídos posteriormente na origem de dados também serão incluídos ou excluídos se corresponderem às condições especificadas nas listas. Valores de exemplo:

  • myDB/: todos os esquemas no banco de dados myDB .
  • myDB2/.*: todos os esquemas no banco de dados myDB2 .
  • myDB3/mySchema1: mySchema1 schema do banco de dados myDB3 .
  • myDB4/mySchema[1-5]em meu banco de dados myDB4 , posso dizer: qualquer esquema com um nome que comece com mySchema e termine com um dígito entre 1 e 5.

Entradas externas

Se você utiliza scripts externos de SQL e T-SQL para o Microsoft Azure SQL Database, pode adicioná-los em um arquivo.zip como entrada externa. É possível organizar a estrutura de um arquivo .zip como subpastas que representam bancos de dados e esquemas. Depois que os scripts são verificados, eles são incluídos nos respectivos bancos de dados e esquemas no catálogo ou projeto selecionado. O arquivo.zip pode ter a seguinte estrutura:

    <database_name>
        <schema_name>
           <script_name.sql>
    <database_name>
        <script_name.sql>
    <script_name.sql>
    replace.csv
    linkedServerConnectionsConfiguration.prm

O arquivo replace.csv contém substituições de espaço reservado para os scripts que são adicionados no arquivo.zip. Para obter mais informações sobre o formato, consulte Substituições de espaço reservado.

O arquivo linkedServerConnectionsConfiguration.prm contém definições de conexão de servidor vinculadas. A estrutura a seguir define uma única conexão:

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}

Opções de importação avançadas

Extrair atributos estendidos
Você pode extrair atributos estendidos, como chave primária, restrições exclusivas e de integridade referencial das colunas. Por padrão, esses atributos não são extraídos.
Modo de extração
Você pode decidir qual modo de extração será executado para os metadados importados. Você tem as opções a seguir:
  • Prefetch: use-o para bancos de dados relacionais.
  • Em massa paralelo: use-o para mecanismos de processamento analítico.
  • Encadeamento único: use-o para evitar paralelismo e consultas grandes durante a extração. Ao selecionar esse modo, o desempenho poderá ser baixo.
Extração da lógica de transformação
Você pode ativar a criação de descrições de lógica de transformação a partir do código SQL em scripts SQL.

Saiba Mais