Spark を使用した分析機能の拡張 ( Analytics Engine powered by Apache Spark )

Analytics Engine powered by Apache Spark をコンピュートエンジンとして使用し、分析や機械学習のジョブを実行することができます。

IBM Analytics Engine powered by Apache Spark Apache Spark を利用するためのマネージドサービスを提供し、自動スケーリング、リソースクォータ、キューイングなどの追加機能を備えています。 Jupyter Notebooksやスクリプト（ Python およびR）を使用すれば、Sparkアプリケーションを対話形式で実行できます。 アプリケーションは、ノートブック、デプロイメント・スペース、または Spark サービス・インスタンスからのジョブを使用して実行することもできます。 IBM （ Analytics Engine powered by Apache Spark ）は、オンデマンドのSparkクラスタを作成し、Sparkアプリケーション、Sparkカーネル、Spark Labsなどのサービスを利用してワークロードを実行します。

サービス 「 IBM 」 Analytics Engine powered by Apache Spark サービスは、デフォルトでは利用できません。 管理者は、 IBM Cloud Pak for Data プラットフォームにこのサービスをインストールする必要があります。 サービスがインストールされているかどうかを判別するには、サービス・カタログを開き、サービスが有効になっているかどうかを確認します。

ジョブをサブミットするたびに、そのジョブに専用の Spark クラスターが作成されます。 Spark ドライバーのサイズ、実行プログラムのサイズ、およびジョブの実行プログラムの数を指定することができます。 これにより、予測可能で一貫性のあるパフォーマンスを実現できます。

ジョブが完了すると、クラスターは自動的にクリーンアップされ、他のジョブがリソースを使用できるようになります。 このサービスには、Spark アプリケーションのパフォーマンスの分析と問題のデバッグを可能にするインターフェースも含まれています。

IBM Cloud Pak for Data では、Spark ワークロードを次の 2 つの方法で実行できます：

• Watson Studio のプロジェクトの Spark 環境で実行されるノートブックの場合
• Watson Studio の外側、SparkジョブAPIを使用する IBM Analytics Engine powered by Apache Spark インスタンス内