IBM Power Systems 上で稼働する Hortonworks Data Platform (HDP) に統合された Qlik Sense

Qlik Sense を使用して IBM Power Systems 上の HDP 内のデータを検出して視覚化する手順

Comments

Qlik Sense は、クエリー・ベースのビジネス・インテリジェンス (BI) ツールでは見逃しがちな洞察を検出できるようにするための BI ソリューションです。すべてのデータを対象に自在に検索して探索し、新しいアイデアが浮かんだときに即座に分析をピボットできます。Qlik Sense は、あらゆる範疇の BI 使用ケースをサポートするクラウド対応データ・アナリティクス・プラットフォームを使用して、完全な柔軟性を提供します。Qlik Sense では Apache Hadoop 環境内のデータにアクセスできます。そこで、IBM POWER8 上の Hortonworks Data Platform (HDP) を対象に、Qlik Sense を統合して HDP 内のデータを視覚化できるかどうかを確認するための検証テストを行いました。この記事では、この検証テストの概要を説明します。

目的

Qlik Sense の検証テストの主な目的は、以下のとおりです。

  1. IBM POWER8 プロセッサー・ベースのサーバー上で稼働する HDP 2.6 に接続するように Qlik Sense を構成する
  2. POWER8 プロセッサー・ベースのサーバー上で稼働する HDP の Hadoop Distributed File System (HDFS) からサンプル・データを抽出して視覚化する

テスト環境

このセクションでは、テスト環境内の主要なコンポーネントをリストアップします。

Qlik Sense

  • Microsoft Windows 7 PC 用の Qlik Sense Desktop 11.11.1
  • Hortonworks ODBC Driver for Apache Hive (v2.1.5.1006、64 ビット)
  • Windows 7 で稼働するノートブック

Hortonworks Data Platform

  • Hortonworks Data Platform (HDP) バージョン 2.6
  • Red Hat Enterprise Linux (RHEL) 7.2
  • 最小リソース: 8 基の仮想プロセッサー、24 GB のメモリー、50 GB のディスク・スペース
  • IBM PowerKVM
  • IBM POWER8 プロセッサー・ベースのサーバー

デプロイメント・アーキテクチャー

デプロイメント・アーキテクチャーは極めて単純なものです。Qlik Sense と Hortonworks ODBC ドライバーは Windows 7 ノートブックにインストールして実行しました。HDP をインストールして実行したのは POWER8 サーバーです。この HDP に接続するように Qlik Sense と ODBC ドライバーを構成しました。そして Qlik Sense で HDP 内のデータにアクセスして、データを視覚化します。テストは、単一ノードの HDP 環境とマルチノードの HDP クラスターの両方で行いました。

インストールと構成

このセクションでは HDP クラスターと Qlick Sense ソフトウェアのインストールと構成について説明します。

HDP クラスターをインストールして構成する

HDP クラスターをインストールして構成するための大まかな手順は以下のとおりです。

  1. HDP のインストール・ガイドに従って、HDP を IBM Power Systems 上にインストールし、HDP クラスターを構成します。詳細については、「関連トピック」セクションを参照してください。
  2. Ambari サーバーにログインし、すべてのサービスが実行中であることを確認します。
  3. HDP クラスター、Hadoop、および関連するサービスを Ambari からモニターして管理します。

テスト・データと Hive テーブルをセットアップする

MovieLens とドライバーのテスト・データをダウンロードし、HDFS 内で Hive テーブルを作成します。この Hive テーブルに、ダウンロードしたテスト・データをコピーします。

  1. MovieLens Dataset から MovieLens データをダウンロードします (「関連トピック」の引用を参照)。
  2. Hive 内でテーブルを作成します。
     
    hive> create database movielens;
    OK
    Time taken: 3.063 seconds
    hive> use movielens;
    OK
    Time taken: 0.261 seconds
    hive> 
        > CREATE EXTERNAL TABLE ratings (
        >   userid INT, 
        >   movieid INT,
        >   rating INT, 
        >   tstamp STRING
        > ) ROW FORMAT DELIMITED
        > FIELDS TERMINATED BY '#'
        > STORED AS TEXTFILE
        > LOCATION '/dataset/movielens/ratings';
    OK
    Time taken: 0.578 seconds
    hive> 
        > CREATE EXTERNAL TABLE movies (
        >   movieid INT, 
        >   title STRING,
        >   genres ARRAY<STRING>
        > ) ROW FORMAT DELIMITED
        > FIELDS TERMINATED BY '#'
        > COLLECTION ITEMS TERMINATED BY "|"
        > STORED AS TEXTFILE
        > LOCATION '/dataset/movielens/movies';
    OK
    Time taken: 0.429 seconds
    hive> 
        > CREATE EXTERNAL TABLE users (
        >   userid INT, 
        >   gender STRING, 
        >   age INT,
        >   occupation INT,
        >   zipcode STRING
        > ) ROW FORMAT DELIMITED
        > FIELDS TERMINATED BY '#'
        > STORED AS TEXTFILE
        > LOCATION '/dataset/movielens/users';
    OK
    Time taken: 0.291 seconds
    hive> 
        > CREATE EXTERNAL TABLE occupations (
        >   id INT,
        >   occupation STRING
        > ) ROW FORMAT DELIMITED
        > FIELDS TERMINATED BY '#'
        > STORED AS TEXTFILE
        > LOCATION '/dataset/movielens/occupations';
    OK
    Time taken: 0.336 seconds
    hive>
  3. 作成したテーブルに、テスト・データをロードします。
     
    hadoop fs -put ratings.t /dataset/movielens/ratings
    hadoop fs -put movies.t /dataset/movielens/movies
    hadoop fs -put users.t /dataset/movielens/users
    hadoop fs -put occupations.t /dataset/movielens/occupations
  4. HDFS 内のデータを確認します。
     
    [root@hdp264build ml-1m]# hadoop fs -ls /dataset/movielens
    Found 4 items
    drwxr-xr-x   - hive hdfs          0 2018-05-30 05:19 /dataset/movielens/movies
    drwxr-xr-x   - hive hdfs          0 2018-05-30 05:19 /dataset/movielens/occupations
    drwxr-xr-x   - hive hdfs          0 2018-05-30 05:19 /dataset/movielens/ratings
    drwxr-xr-x   - hive hdfs          0 2018-05-30 05:19 /dataset/movielens/users
    [root@hdp264build ml-1m] #
  5. Hive テーブル内のデータを確認します。
     
    hive> show databases;
    OK
    default
    movielens
    Time taken: 2.559 seconds, Fetched: 2 row(s)
    hive> show tables in movielens;
    OK
    movies
    occupations
    ratings
    users
    Time taken: 0.371 seconds, Fetched: 4 row(s)
    hive>

Hortonworks ODBC ドライバーをインストールして構成する

ODBC ドライバーをインストールして構成する手順は以下のとおりです。

  1. Hortonworks ODBC ドライバーを Microsoft Windows 7 にダウンロードします (ダウンロード Web サイトについては、「関連トピック」を参照してください)。
  2. ODBC ドライバーをインストールして構成します。それには、「関連トピック」セクションに記載されているチュートリアルとガイドの手順に従います。

Qlik Sense をインストールして構成する

Qlik Sense をインストールして構成する手順は以下のとおりです。

  1. Qlik Sense のダウンロード・ページ (「関連トピック」を参照) にアクセスし、Qlik Sense Desktop Edition を Windows 7 にダウンロードします。
  2. 手順に従ってQlik Sense を Windows 7 にインストールします。
  3. Qlik Sense クイック・インストール・ガイド (「関連トピック」を参照) に記載されている手順に従います。この手順の一部は、以下の構成に関するセクションで説明します。

HDP を Qlik Sense に接続する

Qlik Sense では、HDP 上で稼働する HIVE2 からデータをフェッチするために、以下の手法を使用します。今回のテストでは、最初の手法 (A) を使用して Hive からデータを取り込みました。

  • 手法 A: Qlik Sense のインメモリ連想データ・ストアをデータにロードする
  • 手法 B: Qlik Sense ハイブリッド・ソリューション - Hadoop ベースの Qlik Sense ダイレクト・ディスカバリー

HDP と Qlik Sense 間の接続を構成する手順は以下のとおりです。

  1. Windows から ODBC Administrator を起動し、Hortonworks Hive のデータ・ソースを追加します (図 1 を参照)。
    図 1. Hortonworks Hive ODBC ドライバーのセットアップ画面
  2. Windows 7 上で Qlik Sense アプリケーションを起動します。新しいアプリを作成するために、「Create new app (新規アプリを作成)」をクリックします。アプリの名前を入力してから、「Create (作成)」をクリックします。新しく作成されたアプリを開き、「Create new connection (新規接続を作成)」 > 「ODBC」の順にクリックします。図 2 と図 3 を参照してください。
    図 2. 新規アプリの作成
    図 3. Qlik Sense - ODBC 間の新規接続を作成する画面
  3. IBM POWER8 プロセッサー・ベースのサーバー上で稼働する HDP 2.6 インスタンス上の HIVE2 サーバーに接続します (図 3 を参照)。前のステップで ODBC Administrator から追加した ODBC データ・ソースを選択します。Hive ユーザー名とパスワードを入力します (Hive UNIX ユーザー・パスワードではなく、Hive DB パスワードを使用してください)。HIVE2 への接続に成功するまでは、手順を続行できません。

    注: Hive ユーザー・アカウントを使用して Hive DB とテーブルを作成した場合は、ユーザー名として hive を使用し、Hive DB パスワードを入力してください。

  4. 右上にある「Load data (データをロード)」をクリックします。これで、Hive テーブルのデータが Qlik Sense アプリケーションのメモリーにロードされます (図 4 を参照)。
    図 4. Qlik Sense アプリケーションのメモリーへのデータのロード
  5. 右上にあるドロップダウン・メニュー (図 5 を参照) から「Data load editor (データ・ロード・エディター)」を選択し、「Add data (データを追加)」をクリックします。

    左側のメニューから、必要なデータ接続 (この例では ODBC) を選択します (図 6 を参照)。

    図 5. 新しい Qlik Sense アプリへのデータの追加
    図 6. 新しい Qlik Sense アプリへのデータの追加 (続き)

    新しいアプリに追加する必要があるテーブルを選択してから「Add data (データを追加)」をクリックします。図 7 を参照してください。データのロードが完了すると、分析にデータを使用できるようになります。図 8 に、Qlik Sense アプリ内にロードされたデータが示されています。

    図 7. 新しい Qlik Sense アプリへのデータの追加 (続き)
    図 8. 新しい Qlik Sense アプリ内のテーブル

Qlik Sense 内での視覚化と分析

Qlik Sense を使用してデータを視覚化し、分析する手順は以下のとおりです。

  1. 図 8 に示されているテーブル (円) を互いにドラッグして接続し、関連付けを作成します。テーブルを接続すると新しいウィンドウ (図 9 を参照) が開きます。このウィンドウで、関連付けのフィールドを選択できます。関連付けられたデータは、図 10 のように表示されます。
    図 9. Qlik Sense 内で関連付けられたデータ
    図 10. Qlik Sense 内で関連付けられたデータ
  2. Hive DB からフェッチしたデータに基づく分析と視覚化を実行できます。データはメモリー内にあり、分析はそのメモリー内のデータに対して行われることに注意してください。図 11 と図 12 に、Qlik Sense ダッシュボード内での視覚化の例を示します。
    図 11. Qlik Sense による視覚化の例 1
    図 12. Qlik Sense による視覚化の例 2

関連トピック


ダウンロード可能なリソース


コメント

コメントを登録するにはサインインあるいは登録してください。

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=60
Zone=Linux
ArticleID=1064256
ArticleTitle=IBM Power Systems 上で稼働する Hortonworks Data Platform (HDP) に統合された Qlik Sense
publish-date=01102019