データの取り込みにIBM Sterling Intelligent Promisingファイル転送アダプターを使う

ファイル転送アダプターを使用することで、他のシステムからバケットへ様々なデータタイプを転送できます。 これらのデータ・タイプは、複数のソースからのデータを結合して、さまざまな分析、運用、および意思決定の目的で使用できる統一された一貫性のある形式に調整するプロセスにとって重要です。

始める前に

ファイル転送アダプターを使用してデータを転送する前に、以下のステップを実行します。

このタスクについて

ファイル転送アダプターは、オンプレミスシステムからバケットへデータセットを転送し、利用可能にします。 Sterling Intelligent Promising サポートされているさまざまなデータ・フィード・タイプをアップロードできます。 データがアップロードされると、整合性が分析され、予測 Sterling Intelligent Promising 最適化モデルに使用されます。

手順

  1. ファイル転送アダプターを使用して転送するデータ・フィードごとに、以下のいずれかのステップを実行します。
    • < install-dir> ディレクトリーからファイル転送アダプターを直接実行するには、次のように入力します。
      
      cd <install-dir>
      ./sip_cos_file_adapter.sh <options>
    • ファイル転送アダプターを他のディレクトリーから直接実行するには、次のように入力します。
      ./path/to/<install-dir>/sip_cos_file_adapter.sh <options>

      < install-dir> は、提供された .zip ファイルの内容を解凍したディレクトリーです。

  2. When you upload files to your IBM Cloud® Object Storage bucket, by default, the files are stored in the <入力_接頭辞 /UPLOAD/<dataType> virtual folder. <Input_Prefx>とi <dataType>p、<Input_Prefx>とi dataType設定オプションに提供される値である。 ファイルを別のフォルダーに保管するには、パス構成オプションを使用して、ファイルをアップロードするバケット内の仮想フォルダーの絶対パスを指定します。 詳細については、提供されているサンプルコマンドを参照してください
    デフォルトでは、コンテンツ・タイプが text/csvtext/plain、または application/gzip のファイルのみをアップロードできます。 他のコンテンツ・タイプのファイルをアップロードするには、それらのファイルを supportedContentTypes オプションのコンマ区切り値リストに追加します。 詳細については、 IBM Sterling Intelligent Promisingファイル転送アダプタのダウンロード、インストール、および設定を参照してください。
    にファイルが正常にアップロードされていることを確認するIBM Cloud Object Storage 詳細については、データ取り込みのためのデータファイルの監視を 参照してください。
  3. IBM Cloud Object Storage バケットからファイルをダウンロードしたり、バケット内のファイルをリストしたりするには、 path 構成オプションを指定して仮想フォルダー・パスを指定します。 パス構成オプションのブランク値は、ルート仮想フォルダーを表します。

サンプル・コマンド

  1. サポートされている設定オプションを一覧表示し、ファイルのアップロード、ダウンロード、および一覧表示操作を完了する方法を説明する、以下のサンプル・コマンドを確認してください:
    すべての設定オプションのリスト
    例えば、コマンド行を使用してサポートされるすべての構成オプションを簡単な説明とともにリストするには、次のように入力します。
    ./sip_cos_file_adapter.sh -help
    単一ファイルのアップロード
    例えば、単一のファイルを <Input_Prefix>/UPLOAD/INV/ 仮想フォルダー・パスにアップロードするには、次のように入力します。
    ./sip_cos_file_adapter.sh -conf transfer.options -op UPLOAD -dataType INV -src /path/to/local/data_file.csv
    すべてのファイルをアップロードする
    例えば、ローカル・ディレクトリーから <Input_Prefix>/UPLOAD/INV/ 仮想フォルダー・パスにすべてのファイルをアップロードするには、次のように入力します。
    ./sip_cos_file_adapter.sh -conf transfer.options -op UPLOAD -dataType INV -src /path/to/local/directory
    すべてのファイルのダウンロード
    例えば、 <Input_Prefix>/UPLOAD/INV/ 仮想フォルダー・パスからすべてのファイルをダウンロードするには、次のように入力します。
    ./sip_cos_file_adapter.sh -conf transfer.options -op DOWNLOAD -path <Input_Prefix>/UPLOAD/INV -downloadDest /path/to/local/download/directory
    例えば、 IBM Cloud Object Storage バケットからすべてのファイルをダウンロードするには、 path オプションに値を入力しないでください。次のように入力します。
     ./sip_cos_file_adapter.sh -conf transfer.options -op DOWNLOAD -path "" -downloadDest /path/to/local/download/directory
    すべてのファイルをリストする
    例えば、 <Input_Prefix>/UPLOAD/INV 仮想フォルダー・パス内のすべてのファイル (最大 10,000) をリストするには、次のように入力します。
    ./sip_cos_file_adapter.sh -conf transfer.options -op LIST -path <Input_Prefix>/UPLOAD/INV
    例えば、 <Input_Prefix>/UPLOAD/INV 仮想フォルダー・パス内のすべてのファイル (最大 10,000) をリストするには、次のように入力します。
    ./sip_cos_file_adapter.sh -conf transfer.options -op LIST -path <Input_Prefix>/UPLOAD/INV
  2. 例えば、プレフィックスに対して生成されるプロトコルを理解する:
    • バケツの接頭辞を/myInput とすると、システムは自動的に以下の接頭辞を生成します:
      • /failed/sip-catalog/myinput
      • /completed/sip-catalog/myinput
      • /reprocess/sip-catalog/myinput
      • /summary/sip-catalog/myinput
      設定されているルールによっては、sip-catalogの代わりにsip-data-captureが含まれることもある。
  3. 例えば、ファイル形式を熟知する:
    • 元のファイルが2024-01-01-10-59-00.0000-3423-Availability.csvという名前なら、わかりやすくするために、このファイルを<myfilename>.csvと呼ぶかもしれない。
    • ファイルが失敗した場合、次のような書式が表示される:
      <myfilename>_file_failed_row.csv. for the error rows only (all successful are not present here)
      <myfilename>_file_failure_reason.txt are the summary file which provide the error cod