Ottenere la provenienza dei dati
Acquisizione della provenienza dei dati end-to-end per le risorse su varie fonti di dati. Aggiungi la provenienza dei dati aziendali alle risorse nei tuoi cataloghi e accedi alla provenienza dettagliata dei dati tecnici in MANTA Automated Data Lineage.
Il lignaggio descrive il ciclo di vita di un'unità di dati, come una tabella o una colonna, e indica la provenienza dei dati e le modifiche subite dai dati durante il trasferimento tra archivi di dati di qualsiasi tipo.
Questa opzione di importazione non è disponibile nei progetti contrassegnati come sensibili.
Prima di importare i metadati, progetta l'importazione dei metadati in modo da comprendere tutte le opzioni disponibili e fare le scelte più adeguate ai tuoi obiettivi. Per ulteriori informazioni, consultare Progettazione delle importazioni dei metadati.
È inoltre possibile utilizzare le API anziché l'interfaccia utente per recuperare l'elenco delle connessioni supportate o per creare una risorsa di importazione dei metadati. I collegamenti a queste API sono elencati nella sezione Ulteriori informazioni.
Per eseguire l'arricchimento dei metadati sulle risorse di dati aggiunte con un'importazione di provenienza, è necessario rendere disponibili le risorse di dati in un progetto. Per ulteriori informazioni, consulta Aggiunta di risorse del catalogo a un progetto.
- Tipi di asset
Risorse di dati.
COBOL quaderni.
Script di trasformazione.
Vedi Tipi di risorse creati tramite importazione dei metadati.
- Connessioni supportate
Vedere la colonna Metadata import (lineaggio esterno) in Connettori supportati.
- Autorizzazioni richieste
Per creare, gestire ed eseguire un'importazione di metadati, è necessario disporre dei seguenti ruoli e autorizzazioni:
- Gestisci l'autorizzazione utente per il rilevamento delle risorse.
- Il ruolo di amministratore o redattore nel progetto.
- Il ruolo di amministratore o redattore nel catalogo in cui desideri importare le risorse.
- Accesso alle connessioni alle origini dati delle risorse di dati da importare e autorizzazione SELECT o simile sui database corrispondenti.
- Importazioni della genealogia del database
Assicurarsi di avere un'unica importazione di metadati per la provenienza dell'intero sistema con la seguente granularità:
- Per i database di tipo " Oracle " o " IBM Db2 ", tutti gli schemi contenuti in un singolo database vengono importati con un'unica operazione di importazione dei metadati.
- Per le istanze Microsoft SQL Server, PostgreSQL,, IBM, Netezza Performance Server, Google BigQuery, Snowflake, Teradata, Apache Hive, tutti i database in un'istanza sono coperti da un'unica importazione di metadati.
L'utilizzo di importazioni multiple potrebbe comportare una connessione non corretta della discendenza all'interno del sistema e problemi nella connessione della discendenza tra sistemi.
Creazione di una risorsa di importazione dei metadati e importazione dei metadati di provenienza
Per creare una risorsa di importazione dei metadati e un processo per l'importazione dei metadati in un catalogo, procedere come segue:
Apri un progetto, vai alla pagina Risorse del progetto e fai clic su Nuova risorsa > Importa metadati per le risorse dati.
Seleziona l'opzione Ottieni genealogia. Se questa opzione non è visibile, significa che la funzione di importazione avanzata dei metadati non è abilitata e che non è stata installata alcuna chiave di licenza. Per ulteriori informazioni, consultare Funzionalità installate e requisiti di licenza.
Specificare un nome per l'importazione dei metadati. Facoltativamente, è possibile fornire una descrizione.
Opzionale: seleziona i tag da assegnare alla risorsa di importazione dei metadati per semplificare la ricerca. È possibile creare nuovi tag inserendo il nome del tag e premendo Invio.
Selezionare il catalogo di destinazione per l'importazione. Puoi sceglierne uno tra tutti i cataloghi disponibili. Tuttavia, assicurati che il catalogo di destinazione abbia una gestione delle risorse duplicate impostata per aggiornare la risorsa originale.
Definire un ambito per l'importazione dei metadati di discendenza. Per ulteriori informazioni, consultare la sezione Ambito di importazione.
È possibile selezionare le connessioni esistenti nel progetto come origine dei dati, ma è anche possibile fare clic su Crea una nuova connessione e creare una risorsa di connessione. È possibile importare metadati e provenienza dalle origini dati elencate in Connettori supportati.
Seleziona le connessioni da cui desideri importare i metadati e la provenienza.
È anche possibile fornire HiveQL script o script BTEQ (Basic Teradata Query) come input per accompagnare una connessione per l'importazione della provenienza da una Apache Hive o Teradata fonte di dati.
- Apache Hive
- È possibile fornire HiveQL script come input. Crea un archivio.zip dei tuoi HiveQL script e aggiungi il file.zip al tuo progetto. Quindi, seleziona il file.zip quando definisci l'ambito dell'importazione dei metadati.
- Teradata
- È possibile fornire script BTEQ come input. Crea un archivio.zip dei tuoi script BTEQ. La struttura delle cartelle all'interno del file.zip deve essere
bteq/<database_name>/bteq_scripts, dove database_name è facoltativo. Aggiungi quel file.zip al tuo progetto. Quindi, seleziona il file.zip quando definisci l'ambito dell'importazione dei metadati.
Rivedere l'ambito selezionato. Se hai selezionato un file di input, seleziona l'origine dati corrispondente dallo strumento Tecnologia per specificare il tipo di input.
È possibile eliminare direttamente connessioni, schemi o file di input dall'ambito dei dati oppure rielaborare l'intero ambito facendo clic su Modifica ambito dati.
Una volta completata la definizione dell'ambito dei dati, fai clic su Avanti.
Definisci se desideri eseguire processi di importazione pianificati. Se non si imposta una pianificazione, l'importazione viene eseguita quando si salva la risorsa di importazione dei metadati. È possibile rieseguire l'importazione manualmente in qualsiasi momento. Vedi Opzioni di pianificazione.
Facoltativo. Personalizza il comportamento di importazione. È possibile scegliere di impedire l'aggiornamento di proprietà specifiche e di eliminare le risorse esistenti che non sono incluse nella reimportazione. Per ulteriori informazioni, consulta Opzioni di importazione avanzate.
Rivedere la configurazione dell'importazione dei metadati. Per apportare modifiche, clicca sull'icona Modifica
sul riquadro e aggiorna le impostazioni.
Fare clic su Crea. La risorsa di importazione dei metadati viene aggiunta al progetto e viene creato un processo di importazione dei metadati. Se non hai configurato una pianificazione, l'importazione viene eseguita immediatamente. Se hai configurato una pianificazione, l'importazione viene eseguita secondo la pianificazione definita.
Importante: le risorse provenienti dalla stessa connessione che sono già state importate tramite un'altra importazione di metadati non vengono importate nuovamente, ma vengono aggiornate. Tali risorse non vengono più visualizzate nell'importazione iniziale dei metadati. Solo l'importazione dei metadati eseguita più di recente contiene le risorse.
Una volta completata l'importazione, è possibile visualizzare l'elenco delle risorse importate con le seguenti informazioni:
- Il nome della risorsa, che fornisce un collegamento alla risorsa nel catalogo.
- Il tipo di risorsa, come
DataoReport. Per le risorse di dati, viene mostrato anche il formato, ad esempioRelational table. Per gli altri tipi di asset, la colonna del formato mostra un trattino (—). - Il contesto dell'asset, come il percorso del file o del genitore.
- La data e l'ora dell'ultima importazione della risorsa.
- Lo stato dell'importazione, che può essere
Importedper i dati importati correttamente,In progress, oRemovedse l'asset non è stato possibile reimportare.
Le importazioni di lignaggi sono processi di lunga durata. Non aspettarti risultati immediati. Una volta completata l'importazione, le risorse importate e la loro provenienza dei dati aziendali saranno disponibili nel catalogo selezionato come destinazione. Il lignaggio importato è disponibile nella scheda Lignaggio della risorsa. Ulteriori informazioni sul lignaggio sono disponibili in MANTA Automated Data Lineage. È possibile accedere a tali informazioni tramite il collegamento Vai alla provenienza dei dati tecnici dell'asset nel pannello Informazioni sull'asset.
A seconda dell'esito dell'operazione di importazione dei metadati, viene visualizzato un messaggio di completamento o una notifica di errore.
Viene visualizzato un messaggio di completamento quando il processo è stato completato con successo, completato con avvisi o completato con errori. Se l'intero processo non va a buon fine, viene visualizzato un messaggio di errore. Entrambi i tipi di notifica contengono un link al registro di esecuzione del processo che fornisce dettagli specifici sull'esecuzione del processo stesso.