プロパティの参照CloudObjectStorageコネクタ

このトピックでは、ステージを構成するために設定できるすべてのプロパティを一覧表示します。

接続

ログイン URL

IBM Cloud Object Storage にログインするための URL。この URL を調べるには、https://console.ng.bluemix.net/dashboard/services にアクセスして Cloud Object Storage サービスをクリックした後、左ペインにあるエンドポイントをクリックします。使用する公開エンドポイントの値をコピーします。

タイプ: ストリング
デフォルトhttps://s3-api.us-geo.objectstorage.softlayer.net

リソース・インスタンス ID の使用

アクセス・キーではなくリソース・インスタンス ID を使用するには、このオプションを選択します

タイプ: Boolean
デフォルト: false

アクセス・キー

S3 API で IBM COS サービスに接続するには、資格情報およびエンドポイントが必要です。資格情報はアクセス・キーおよび秘密鍵から構成されます。アクセス・キーを調べるには、https://console.ng.bluemix.net/dashboard/services にアクセスして Cloud Object Storage サービスをクリックした後、左ペインにあるサービス資格情報をクリックし、「サービス資格情報」表の「アクション」列にある「資格情報の表示」をクリックします。 access_key の値を (引用符を除いて) コピーしてください。

タイプ: ストリング

秘密鍵

S3 API で IBM COS サービスに接続するには、資格情報およびエンドポイントが必要です。資格情報はアクセス・キーおよび秘密鍵から構成されます。秘密鍵を調べるには、https://console.ng.bluemix.net/dashboard/services にアクセスして Cloud Object Storage サービスをクリックした後、左ペインにあるサービス資格情報をクリックし、「サービス資格情報」表の「アクション」列にある「資格情報の表示」をクリックします。 secret_key の値を (引用符を除いて) コピーしてください。

タイプ：保護された文字列

IAM URL

IBM Cloud Object Storage が ID とおよびアクセス管理 (IAM) で API 鍵を認証するために使用する必要がある URL。

タイプ: ストリング

リソース・インスタンス ID

IBM Cloud Object Storage の注文時に作成したリソース・インスタンスの ID。リソース・インスタンス ID を調べるには、https://console.ng.bluemix.net/dashboard/services にアクセスして Cloud Object Storage サービスをクリックした後、左ペインにあるサービス資格情報をクリックし、「サービス資格情報」表の「アクション」列にある「資格情報の表示」をクリックします。 resource_instance_id の値を (引用符を除いて) コピーしてください。

タイプ: ストリング

API 鍵

Watson IoT Platform の HTTP API を呼び出すために使用するトークン。 API 鍵に役割を割り当てることによって、特定セットの HTTP API を呼び出す許可を API 鍵に付与します。 API 鍵を調べるには、https://console.ng.bluemix.net/dashboard/services にアクセスして Cloud Object Storage サービスをクリックした後、左ペインにあるサービス資格情報をクリックし、「サービス資格情報」表の「アクション」列にある「資格情報の表示」をクリックします。 api_key の値を (引用符を除いて) コピーしてください。

タイプ：保護された文字列

リージョン

このオプションを使用して、データを読み取るか、データを保管するデータ・センターの地理的位置を指定します。

タイプ: ストリング

使用法

バケット

読み取りまたは書き込みを行うファイルが入っているバケットの名前。

タイプ: ストリング

バケットを作成する

このオプションを使用して、バケットのプロパティーで指定されている名前でバケットを作成します。

タイプ: Boolean
デフォルト: false

ストレージ・クラス

作成されるバケットのストレージ・クラスを次のリストから選択します: 標準、ボールト、コールド・ボールト、フレックス。

タイプ：セレクション
デフォルト: standard
値:
- 標準
- ボールト
- コールド・ボールト
- フレックス

読み取りモード

ファイルを読み取る方式

タイプ：セレクション
デフォルト単一のファイルを読み込む
値:
- 単一ファイルを読み取る
- ワイルドカードを使用して複数のファイルを読み取る
- 正規表現を使用して複数のファイルを読み取る

書き込みモード

名前と一致するファイルに書き込むか、ファイルを削除するには、このプロパティーを使用してファイル名を指定します。

タイプ：セレクション
デフォルト書き込み
値:
- 書き込み
- 削除

ファイル名

ファイルの名前を指定します

タイプ: ストリング

スキーマを推測

ファイル内の入力データからスキーマ (メタデータ) を推測するには、このプロパティーを使用します。

タイプ: Boolean
デフォルト: false

VARCHAR と推測

すべての列のデータを VARCHAR として扱います

タイプ: Boolean
デフォルト: false

ファイル・フォーマット

ファイルのフォーマット

タイプ：セレクション
デフォルトCSV
値:
- 区切り文字による区切り
- CSV
- Parquet
- Avro
- JSON
- Excel
- ORC

パーティション化

ファイルを複数のパーティションとして書き込みます

タイプ: Boolean
デフォルト: false

ウェーブ処理プロパティー

このカテゴリーのプロパティーを使用して、データがアップストリーム・ステージからウェーブとして (例えば、バッチで) ストリームされるときの、データの処理方法を定義します。通常、データをウェーブで送信するように構成されているソース・ステージにはこれが必要になります。

タイプ：カテゴリー

固有 ID の追加

このプロパティーを使用して、固有 ID がファイル名に追加されるかどうかを選択します。このプロパティーの値が「はい」に設定される場合、ファイル名には固有 ID が付加され、ステージにストリームされるデータのすべてのウェーブについて新しいファイルが作成されます。このプロパティーの値が「いいえ」に設定される場合、ファイルはすべてのウェーブで上書きされます。

タイプ: Boolean
デフォルト: false

ファイル・サイズしきい値

ファイル・サイズのしきい値をメガバイト単位で指定します。処理ノードは、サイズがしきい値で指定された値を超えるたびに新規ファイルを開始します。

タイプ: integer
デフォルト: 1

ファイル形式プロパティー

区切り文字で区切られたファイルのファイル構文を指定します。

タイプ：カテゴリー

ヘッダー

ファイルの最初の行にフィールド・ヘッダーが含まれており、この行がデータ部分ではない場合は、「はい」を選択します。「はい」を選択した場合は、コネクターがデータを書き込むときに、フィールド名が出力の最初の行になります。ランタイム列伝搬が有効の場合、ファイルの最初の行からメタデータを取得できます。

タイプ: Boolean
デフォルト: false

タイプを含む

コネクターが出力の最初の行に書き込む各フィールド名にデータ・タイプを追加する場合は、「はい」を選択します。

タイプ: Boolean
デフォルト: false

フィールド区切り文字

各値を次の値から分離する文字 (例えば、コンマ)

タイプ：セレクション
デフォルト：コンマ
値:
- コンマ
- タブ
- コロン

行区切り文字

1 つの行を別の行から分離する 1 つ以上の文字 (例えば、CR/LF (復帰/改行))

タイプ：セレクション
デフォルト改行
値:
- 改行
- 復帰
- キャリッジリターンラインフィード
- 改行

NULL 値

ファイルで NULL (欠損値) を表す値 (例えば、NULL)

タイプ: ストリング

エスケープ文字

他の文字をエスケープするために使用される文字 (例えば、円記号 (\\))。エスケープは、文字をストリング値の一部として識別するストリング技法です。

タイプ：セレクション
デフォルト: なし
値:
- なし
- 二重引用符
- 単一引用符
- 円記号 (¥)

引用文字

ストリング値を囲むために使用される文字 (例: 二重引用符)

タイプ：セレクション
デフォルト: なし
値:
- なし
- 二重引用符
- 単一引用符

エンコード

データに適切な文字エンコード (例えば、UTF-8)

タイプ: ストリング
デフォルト：utf-8

10 進数形式

10 進数値の形式 (例えば、#,###.##)

タイプ: ストリング

日付の形式

Date データ・タイプのフィールドの形式を定義するストリングを指定します。

タイプ: ストリング

時刻形式

Time データ・タイプのフィールドの形式を定義するストリングを指定します。

タイプ: ストリング

タイム・スタンプ形式

Timestamp データ・タイプのフィールドの形式を定義するストリングを指定します。

タイプ: ストリング

Parquet 形式プロパティー

Parquet ファイル形式プロパティー

タイプ：カテゴリー

Parquet 圧縮コーデック

データを圧縮するための Parquet 圧縮アルゴリズムを選択します。

タイプ：セレクション
デフォルト: なし
値:
- なし
- Snappy
- Gzip

Avro 形式プロパティー

Avro ファイル形式プロパティー

タイプ：カテゴリー

Avro 圧縮コーデック

データを圧縮するための Avro 圧縮アルゴリズムを選択します

タイプ：セレクション
デフォルト: なし
値:
- なし
- Deflate
- Snappy
- Bzip2

ORC 形式プロパティー

ORC ファイル形式プロパティー

タイプ：カテゴリー

ORC 圧縮コーデック

書き込み時に使用する圧縮コーデックを選択します

タイプ：セレクション
デフォルト: なし
値:
- なし
- ZLib
- Snappy
- LZO
- LZ4

Excel 形式プロパティー

Excel ファイル形式プロパティー

タイプ：カテゴリー

セル範囲

Excel ワークシートから取得するセルの範囲 (例えば、C1:F10)

タイプ: ストリング

Excel ワークシート名

読み取る Excel ワークシートの名前を指定するには、このプロパティーを使用します。

タイプ: ストリング

無効データの処理

有効でない値を処理する方法: ジョブを失敗させる、列を NULL にする、行を除去する

タイプ：セレクション
デフォルト失敗
値:
- 失敗
- 列
- 行

行の制限

ファイルから読み取るレコードのノードあたりの最大数を指定します。このプロパティーに値が指定されていない場合、ファイル全体が読み取られます。

タイプ: ストリング

バイトの制限

返されるバイトの最大数を指定します。接尾部に KB、MB、GB、または TB を使用します。

タイプ: ストリング

Java 設定

JVM オプションを指定するためのプロパティー

タイプ：カテゴリー

ヒープ・サイズ

ヒープ・サイズ (MB) です。このプロパティーは -Xmx コマンド・ライン・オプションに対応します。

タイプ: integer
デフォルト：256
最小：128

JVM オプション

Java 仮想マシンに対する追加のコマンド・ライン引数を入力します。

タイプ: ストリング