サンプル Spark アプリケーション・コードのロード

Apache Spark アプリケーション・コードのサンプルがファイルとして用意されています。それらのファイルを $HOME/spark/apps ディレクトリーにロードして、独自のコードを作成するためのテンプレートとして使用できます。

注: 現在の各サンプルは、Spark Release 2.3.0 に基づいています。旧バージョンの各サンプルは、旧リリースの Spark に基づいているので、現在の Spark リリースでは正しく動作しない可能性があります。そのため、必ず、最新のサンプルをロードしてください。

サンプル・ファイルには以下の条件が適用されます。

Python のサンプルは、個々のファイルに分かれています。いずれもファイル拡張子は .py です。
Scala のサンプルは、.scala というファイル拡張子で、idax_examples.jar という名前の 1 つのアーカイブ・ファイルにまとめられています。
R のサンプルは、個々のファイルに分かれています。いずれもファイル拡張子は .R です。

これらのファイルを $HOME/spark/apps ディレクトリーにロードするには、以下のコマンドを実行します。

spark-submit.sh --load-samples

これにより、Db2® Warehouse のホーム・ディレクトリーに /spark/apps ディレクトリーが作成され (まだ存在していなかった場合)、Python のサンプル、R のサンプル、 idax_examples.jar ファイルがそのディレクトリーにコピーされます。

$HOME/spark/apps ディレクトリーからクライアント・システムに 1 つ以上のサンプルをダウンロードして、独自のアプリケーションの基礎としてそのサンプル・コードを利用することもできます。

存在するサンプルのリストを表示するには、以下のコマンドを実行します。

spark-submit.sh --list-files apps

ダウンロードするファイルごとに以下のコマンドを実行します。

spark-submit.sh --download-file apps file_name

REST API 呼び出しの使用

あるいは、IBM® Db2 Warehouse Analytics API を使用して、/dashdb-api/analytics/public/samples/load エンドポイントを呼び出す HTTP POST 要求を実行依頼することもできます。例えば、次の cURL コマンドを発行します (ユーザー ID、パスワード、およびホスト名は置き換えてください)。

curl --user "userid:password" 
  -X POST "https://hostname:8443/dashdb-api/analytics/public/samples/load"

$HOME/spark/apps ディレクトリーからクライアント・システムにファイルをダウンロードするには、IBM Db2 Warehouse API を使用して、/dashdb-api/home エンドポイントを呼び出す HTTP GET 要求を実行依頼します。ダウンロードするファイルのパスを URL の接尾部として追加してください。

例えば、存在するサンプルのリストを表示するには、以下の cURL コマンドを実行します (ユーザー ID、パスワード、ホスト名を置き換えてください)。

curl --user "userid:password" 
-X GET "https://hostname:8443/dashdb-api/home/spark/apps"

idax_examples.jar をダウンロードするには、以下の cURL コマンドを実行します (ユーザー ID、パスワード、ホスト名を置き換えてください)。

curl --user "userid:password" 
  -X GET "https://hostname:8443/dashdb-api/home/spark/apps/idax_examples.jar" > idax_examples-copy.jar