Creazione di una configurazione di estrazione dati ad hoc

È possibile regolare il processo di estrazione dati per richiamare i dati dal database di backup di produzione per i propri requisiti ad hoc.

Informazioni su quest'attività

Se la query è in grado di recuperare dati di grandi dimensioni e se non è possibile perfezionare la query o se la paginazione non funziona, è possibile utilizzare il servizio di estrazione dati in modo ad-hoc per richiamare i dati. Anche se si tratta di un estratto nascosto dei dati della tabella, non influisce sulle prestazioni del server delle applicazioni e del database.

È possibile creare una configurazione di estrazione dati ad hoc identificata da un TaskId per le tabelle e le colonne in base ai propri requisiti, impostare una frequenza elevata in modo che non venga richiamata automaticamente e impostare il numero di giorni dei dati più vecchi come richiesto. Non è necessario creare altri criteri dell'agent per l'agent CoC Data Extract . Verrà invece eseguito dagli stessi criteri dell'agent, configurati per le estrazioni di dati regolari. I dati estratti vengono compressi e inviati alla stessa posizione remota configurata per le estrazioni dati regolari.

Si consiglia di attivare le estrazioni ad hoc quando l'estrazione regolare non è in esecuzione. I calcoli di memoria vengono eseguiti considerando che solo un servizio di estrazione dati viene eseguito sul server o su JVM e se non viene fornito un heap più grande, l'attività richiede più tempo. Inoltre, se anche le estrazioni regolari sono in esecuzione, è necessario fare in modo che l'applicazione di consumo non raccolga l'estrazione se il file compresso o le attività sono intese per l'estrazione ad hoc.

Procedura

Consultare il seguente esempio per creare una configurazione ad hoc. Questa operazione crea una configurazione per estrarre le colonne specificate da YFS_Order_Line per gli ultimi 90 giorni. La frequenza è impostata su 2400 ore in modo che non venga attivata automaticamente per i successivi 100 giorni.
```
<DataExtractConfig Action="ADD" 
TaskId="yfs_order_line_adhoc_extract_1"
TableName="YFS_ORDER_LINE"
Columns="ORDER_LINE_KEY,ORDER_HEADER_KEY,PRIME_LINE_NO,ITEM_ID,UOM,ORDERED_QTY" 
FrequencyInHours="2400" FirstRunExtractInDays="90"/>
```
Eseguire la seguente query da Database Query Client per identificare le esecuzioni di estrazione dati nel passato recente. Questa query restituisce i job di estrazione passati con l'ultima che appare all'inizio dell'elenco. Visualizzare il valore per la colonna RUN_AT, per un regolare record di attività di estrazione all'inizio dell'elenco. Conoscere l'intervallo di trigger dei criteri in modo da poter dedurre l'ora approssimativa del trigger successivo.
```
SELECT CFG.TASK_ID, CFG.TABLE_NAME, JOB.RUN_AT, JOB.STATUS FROM YFS_DATA_EXTR_CFG CFG, 
YFS_DATA_EXTR_JOB JOB WHERE CFG.DATA_EXTR_CFG_KEY=JOB.DATA_EXTR_CFG_KEY ORDER BY 
JOB.RUN_AT DESC
```
In alternativa, è possibile vedere l'ora di attivazione successiva per questo criterio dal Server Dashboard (https://<ip>:<port>/sma/sma/nghome.do). Fare clic sul server configurato per l'estrazione regolare dei dati e vedere l'ora di attivazione successiva programmata. Se si è molto vicini all'intervallo di trigger, è possibile attendere l'esecuzione pianificata per selezionare la propria configurazione ed estrarre i dati. Altrimenti, è possibile attivare i criteri manualmente dalla stessa schermata.
Ogni attivazione dell'agent di estrazione dati viene eseguita su tutta la configurazione di estrazione e viene attivata in base all'ora dell'ultima estrazione e all'intervallo di frequenza. Per la prima estrazione, viene utilizzato l'attributo FirstRunExtractInDays fornito nella configurazione. Pertanto, per le estrazioni ad hoc, si consiglia di eliminare la configurazione dopo l'estrazione o mantenere alta la frequenza.
Nota: è applicabile solo ai clienti legacy.
L'XML di input per eliminare l'attività di configurazione di estrazione dati creata in precedenza è il seguente:
```
<DataExtractConfig Action="DELETE" TableName="YFS_ORDER_LINE" 
TaskId="yfs_order_line_adhoc_extract_1"/>
```

Se questa configurazione è per un estratto, è possibile crearla direttamente nel database di produzione utilizzando una chiamata REST ed eliminarla dopo l'utilizzo. Ma se si vede una continua necessità delle stesse tabelle e colonne e si desidera solo i record nuovi o modificati per le esecuzioni successive, è possibile creare questa configurazione come estrazione regolare nell'ambiente di configurazione principale e ottenerlo nell'ambiente di produzione utilizzando CDT.

Requisito Modello URL REST

Crea configurazione di estrazione dati

Tabella 1. URL REST di esempio per creare ed eliminare la configurazione di estrazione
Requisito	Modello URL REST
Crea configurazione di estrazione dati	`POST URL: https://<ip>:<port>/smcfs/restapi/executeFlow/CocDataExtractConfig Body: { "Action":"ADD", "TaskId":"yfs_order_line_adhoc_extract_1", "TableName":"YFS_ORDER_LINE", "Columns":"ORDER_LINE_KEY,ORDER_HEADER_KEY,PRIME_LINE_NO,ITEM_ID,UOM, ORDERED_QTY", "FrequencyInHours":"2400", "FirstRunExtractInDays":"90" } Headers: Content-Type: application/json X-XAPI-Tag: DataExtractConfig`
Elimina configurazione estrazione dati	`POST https://<ip>:<port>/smcfs/restapi/executeFlow/CocDataExtractConfig Body: { "Action":"DELETE", "TableName":"YFS_ORDER_LINE", "TaskId":"yfs_order_line_adhoc_extract_1" } Headers: Content-Type: application/json X-XAPI-Tag: DataExtractConfig`

POST
URL: https://<ip>:<port>/smcfs/restapi/executeFlow/CocDataExtractConfig
Body: 
{ 
"Action":"ADD",
"TaskId":"yfs_order_line_adhoc_extract_1",
"TableName":"YFS_ORDER_LINE",
"Columns":"ORDER_LINE_KEY,ORDER_HEADER_KEY,PRIME_LINE_NO,ITEM_ID,UOM, ORDERED_QTY",
"FrequencyInHours":"2400",
"FirstRunExtractInDays":"90"
}
Headers:
Content-Type:	application/json
X-XAPI-Tag:	DataExtractConfig

Elimina configurazione estrazione dati

POST
https://<ip>:<port>/smcfs/restapi/executeFlow/CocDataExtractConfig
Body: 
{ 
"Action":"DELETE",
"TableName":"YFS_ORDER_LINE",
"TaskId":"yfs_order_line_adhoc_extract_1"
}
Headers:
Content-Type:	application/json
X-XAPI-Tag:	DataExtractConfig

Dopo aver attivato i criteri, eseguire la seguente query da Database Query Client per identificare se l'estrazione ad hoc ha esito positivo e per ottenere informazioni sul file estratto.
```
SELECT CFG.TASK_ID, CFG.TABLE_NAME, JOB.STATUS, JOB.RUN_AT, JOB.STARTTS, JOB.ENDTS, 
JOB.FILE_XFR_SIZE, JOB.AVG_ROW_LENGTH FROM YFS_DATA_EXTR_CFG CFG, YFS_DATA_EXTR_JOB 
JOB WHERE CFG.DATA_EXTR_CFG_KEY=JOB.DATA_EXTR_CFG_KEY AND TASK_ID=<provide  task_id> 
ORDER BY JOB.RUN_AT DESC
```
L'estrazione ha esito positivo se la colonna STATUS visualizza SUCCESS nel risultato. I dati estratti vengono compressi e inviati all'ubicazione FTP remota configurata per l'estrazione regolare dei dati. Il modello del file di estrazione è <TASK_ID>__<TABLE_NAME>__<STARTTS>_<ENDTS>_m_of_n.zip. Notare che TASK_ID, TABLE_NAME, STARTTS e ENDTS dai risultati della query identificano il file estratto. Ad esempio, di seguito sono riportati i risultati di una corsa di esempio:

TASK_ID TABLE_NAME STATO RUN_AT INIZI FINI

yfs_inbox_adhoc_extract_3 YFS_INBOX RIUSCITO 2017-11-16 05:41:31.0 2017-08-08 05:41:31.0 2017-11-16 05:31:31.0

E il file di estrazione è denominato yfs_inbox_adhoc_extract_3__YFS_INBOX__20170808054131_20171116053131_1_of_1.zip