ファイル取り込み接頭辞構造

Sterling Intelligent Promising は、構造化された接頭辞システムを使用して、取り込みプロセス中にファイルを整理し、効率的な追跡、エラー処理、クリーンアップを可能にします。各プレフィックスは、取り込まれたファイルのライフサイクルを管理する上で明確な役割を果たし、問題の追跡、進捗状況の監視、最適なストレージ要件の維持を支援します。

Sterling Intelligent Promising によって自動的に作成される以下の接頭辞を理解する必要があります：

/概要

サマリーjsonファイルには、ファイル取り込みプロセスに関連する統計データが含まれています。ファイルは、ソースバケット内の summary プレフィックスの場所にアップロードされます。

次の要約ファイルの例を見てみよう。

{
	  "date" : "2024-09-27",
	  "tenantId" : "us-f226da3c",
	  "fileType" : "item.ingest",
	  "producer" : "external-application",
	  "ingestRuleId" : "sip-premium-item.ingest-rule",
	  "ingestSchemaId" : "item.ingest-202404",
	  "bucketName" : "sip-integration-test-automation",
	  "fileKey" : "us-f226da3c/UPLOAD/ITEM/items.csv",
	  "consumer" : "sip-catalog",
	  "fileTransformStartTime" : "2024-09-27T15:02:28.512Z",
	  "rowsFailedSchemaVal" : "1",
	  "failedRowsFileKey" : "us-f226da3c/failed/sip-catalog/UPLOAD/ITEM/240927T150228570_items_failed_rows.csv",
	  "failedReasonsFileKey" : "us-f226da3c/failed/sip-catalog/UPLOAD/ITEM/240927T150228600_items_failure_reasons.txt",
	  "rowsTransformed" : "4",
	  "fileTransformEndTime" : "2024-09-27T15:02:28.818Z",
	  "fileExchangeStartTime" : "2024-09-27T15:02:28.830Z"
	  "eventPayloadBatchSize" : "1",
	  "fileExchangeEndTime" : "2024-09-27T15:02:28.881Z",
	  "completedFileKey" : "us-f226da3c/completed/UPLOAD/ITEM/240927T150228881_items.csv"
	}

この例では fileKey は元のファイルのキーを表す。

故障が発生すると、以下のような情報が提供される：

failedRowsFileKey: 失敗した行ファイルのファイル・キー。
failedReasonsFileKey: 失敗理由ファイルのファイルキー。

/完成

処理が完了したすべてのファイル。 IBM Cloud® Object Storage のストレージ要件を最小化するために、完了したファイルを定期的にクリーンアップすることが重要である。

/失敗

入力 CSV ファイルの行が処理に失敗した場合、その行は別の CSV ファイルに書き出され、ソースバケット内の failed プレフィックスの場所にアップロードされます。また、対応する故障理由ファイルが生成され、同じ場所にアップロードされる。このファイルには、それぞれの失敗の理由が記載されている。

失敗したファイル取り込み処理の例を以下に示す：
prefix/file1.csv 、失敗したファイルは以下のように保存される：
- 失敗した行ファイル： failed/<consuming_application>/prefix1/<timestamp>_file1_failed_rows.csv
- 故障理由ファイル： failed/<consuming_application>/prefix1/<timestamp>_file1_failure_reasons.txt

次の失敗理由テキストファイルの例を見てみよう：
```
1 |5 |Expected 95 fields, was 94
```
故障理由ファイルには以下のものが含まれる：
- 失敗した行のCSVファイルの行番号。
- 元のCSVソースファイルの対応する行番号。
- 障害が発生したデータフィールドとその理由。
注：障害ファイルの行番号はデータ行のみを指し、ヘッダー行は除外される。この情報を使って、関連付けを行い、問題のあるエントリーを正確に特定する。

/再処理済み

接続性の問題で再処理のキューにあるファイル。

このプレフィックスには何もする必要はない。再処理用プレフィックスに一時的に保存されたファイルは、 Sterling Intelligent Promising で自動的に再試行される。データを処理するための追加アクションは必要ない。