Esportazione avanzata dei dati master tramite l'API IBMMaster Data Management REST

Come metodo alternativo per esportare i dati master in un file, è possibile utilizzare l'API IBMMaster Data Management REST. Utilizzando l'API di esportazione, è possibile applicare opzioni avanzate che vanno oltre le funzionalità della scheda Ricerca dell'area di lavoro dei dati master.

Utilizza l'API di esportazione per:

  • Esportare i dati dell'entità da un determinato momento anziché esportare l'intero set di dati.
  • Includi informazioni sulle entità eliminate a partire da un determinato momento.

In questo argomento:

Esportazione dei dati master da un determinato momento

La possibilità di perfezionare i dati esportati in base agli ultimi timestamp aggiornati (entity_last_updated o record_last_updated) offre alla tua organizzazione un modo più efficiente per sincronizzare le informazioni sulle entità con i sistemi a valle. Invece di dover risincronizzare l'intero set di dati downstream, è possibile utilizzare un set di dati esportato più piccolo che cattura le modifiche apportate dall'ultima sincronizzazione.

Questa funzionalità integra anche le configurazioni che utilizzano lo streaming continuo dei dati verso i sistemi a valle. In caso di errori di streaming, ora è possibile "recuperare" i dati dell'entità downstream in modo massivo, in modo che le modifiche apportate durante un'interruzione dello streaming non vadano perse.

Esportazione delle informazioni relative ai record o alle entità eliminati

Quando esporti dati relativi a record o entità da un determinato momento, puoi anche scegliere di includere informazioni sui record o sulle entità eliminati da quel momento in poi.

Se includi informazioni relative a record o entità eliminati nell'esportazione dei dati, il file di dati generato includerà una colonna aggiuntiva: isActive. Per i record o le entità eliminati, la isActive colonna ha un valore pari a false.

I record eliminati hanno solo valori per le colonne recordId, recordType recordLastUpdated e nei dati esportati. Tutte le altre colonne sono vuote.

Le entità eliminate hanno valori solo per le colonne entityId, entityType entityLastUpdated e nei dati esportati. Tutte le altre colonne sono vuote.

Esportazione dei dati master tramite l'API di esportazione

Per avviare un processo di esportazione dei dati master utilizzando l'API REST, utilizzare data_exports l'endpoint nel data-ms microservizio di IBMMaster Data Management.

POST /mdm/v1/data_exports

Il data_export payload accetta i seguenti parametri:

Parametri dell'API data_export
Parametro Descrizione
export_type Il tipo di dati esportati in questo processo: entity o record. Se il include_deletes flag è true, allora è entity supportato solo.
file_name Il nome del file di esportazione da creare.
format Il formato dei dati esportati: CSV, TSV, o JSON.
search_criterai.include_deletes Definisce se i dati esportati includono entità eliminate: true o false. Se questo flag è true, allora devi includere anche query un'espressione basata sul enitity_last_updated campo.
search_criteria.joins Definisce se i dati esportati includono informazioni sulle azioni di join : true o false.
search_criteria.query Definisce l'elenco delle espressioni e l'operatore di connessione per questa query di esportazione dati. Se il includes_deletes flag è true, è necessario includere query un'espressione basata sul enitity_last_updated campo e non è possibile fornire altri campi nella query.
search_criteria.search_type Il tipo di dati da esportare: entity o record. Se il tipo di entità esportato è configurato per essere mantenuto nel database, o se il include_deletes flag è true, allora è entity supportato solo.
search_criteria.filters Definire un filtro per il processo di esportazione. Questo limita i tipi di entità validi nel file esportato. Ad esempio, un valore pari a person_entity esporterà solo le entità Persona dal sistema.

Ad esempio, per i payload data_export API, vedere l 'esempio di payload Entity e l 'esempio di payload Record.

Dopo aver eseguito l'endpoint data_export API, è possibile monitorare lo stato di avanzamento del processo di esportazione facendo clic sull'icona Processi in corso nell'interfaccia di configurazione dei dati master.

Esempio di payload data_export dell'entità

Ecco un esempio di payload di tipo entità per data_export l'API con il include_deletes flag impostato su true:

{
  "export_type": "ENTITY",
  "format": "CSV",
  "search_criteria": {
    "query": {
      "expressions": [
        {
          "property": "entity_last_updated",
          "condition": "GREATER_THAN_EQUAL",
          "value": "<timeForExport>",
          "expressions": [
            
          ]
        }
      ]
    },
    "filters": [
      {
        "type": "ENTITY",
        "values": [
          "person_entity"
        ],
        "data_quality_issues": [
          
        ]
      }
    ],
    "joins": [
      
    ]
  },
  "file_name": "<filename>",
  "include_deletes": true
}

Esempio di payload di esportazione dati registrati

Ecco un esempio di payload di tipo record per data_export l'API con il include_deletes flag impostato su true:

{
  "export_type": "RECORD",
  "format": "CSV",
  "search_criteria": {
    "query": {
      "expressions": [
        {
          "property": "record_last_updated",
          "condition": "GREATER_THAN_EQUAL",
          "value": "<timeForExport>",
          "expressions": []
        },{
          "property": "record_source",
          "condition": "equal",
          "value": "<recordSource>"
        }
      ],
      "operation": "and"
    },
    "filters": [
      {
        "type": "RECORD",
        "values": [
          "person"
        ],
        "data_quality_issues": []
      }
    ],
    "joins": []
  },
  "file_name": "<filename>",
  "include_deletes": true
}

Esempio di payload di tipo entità persistente

Ecco un esempio di payload per quando il tipo di entità è configurato per persistere nel database:

{
    "file_name": "PersonEntity",
    "format": "csv",
    "search_criteria": {
        "search_type": "entity",
        "query": {
            "operation": "and",
            "expressions": [{
                "value": "*"
            }]
        },
        "filters": [{
            "type": "entity",
            "values": ["person_entity"]
        }]
    },
    "export_type": "entity"
}

Ulteriori informazioni