目次


オフライン環境でBigInsights4.x IOPとIBM Value-addedサービスのインストールを実行する

Comments

はじめに

IBM InfoSphere BigInsights v4.1は、大量の構造化データと非構造化データをそのままの形式で分析するためのエンタープライズ・レベルの豊富な先進的なアナリティクス機能を提供します。オープンソースの Apache Hadoop と IBM の先進機能 (SQLでアクセスすることを可能にするBig SQL、先進的なテキスト・アナリティクス機能、データ探索のための IBM BigSheets、パフォーマンス、セキュリティー、管理用のさまざまな機能など) を組み合わせたソフトウェアです。

IBMはBigInsights をインストールするための公開リポジトリサーバーを用意しています。しかし、自社ネットワーク外に存在するサーバーへの接続は難しい場合があります。このような場合には、事前に必要なファイルをダウンロードしておき、自社ネットワーク内にミラー・リポジトリサーバーを構築してインストールを実施する必要があります。

本稿では特定環境でBigInsights v4.1 FP1のインストール手順とその補足説明を行いますが、4.1 FP2以降のバージョンでも手順に大きな違いはありません。バージョンによる違いについては適宜記述を行います。詳細なインストール方法についてはIBM Knowledge Centerも参照してください。

今回の構成について

以下の図1は、本稿で想定する環境です。BigInsightsのインストールはyumを利用して行われますが、外部リポジトリサーバーへのアクセスができないため内部にミラーyumリポジトリサーバー(以下 ミラーリポジトリ)を構築します。基本的にインストールはこのミラーリポジトリに各ノードがアクセスして実行されます。これに加えて、BigInsightsのノード管理・運用のためのAmbariサーバーと、計算処理を行うデータノードで構成されます。なお、今回はわかりやすさのためにAmbariサーバーとミラーリポジトリを別サーバーとしていますが、単一サーバーにミラーリポジトリとAmbariが存在しても構いません。

図1:本稿の想定する構成
ホスト名OSdescription
mirror.ibm.comRed Hat Enterprise Linux 6.7Mirror yumリポジトリ
ambari.ibm.comRed Hat Enterprise Linux 6.7Ambari server
Hadoop cluster
binode.ibm.comRed Hat Enterprise Linux 6.7Hadoop cluster

外部リポジトリサーバーに接続する代わりにミラーyumリポジトリを用意して、モジュールのインストールはMirrorリポジトリより行います。

インストールの手順は以下となります。

  1. ミラーyumリポジトリサーバーの構成
  2. Ambariサーバーのインストールと起動
  3. BigInsightsクラスターの作成
  4. IBM value-addedサービスのインストール

BigInsightsは、まずベースとなるIBM Open Platform with Apache Hadoop (IOP)をインストールする必要があります。Big SQLなどのサービスは、IOPインストール後に追加サービスとして追加インストールすることに注意してください。

以下詳細を記述します。なお、コマンドプロンプトはホスト名のショートネームを記述しています。

1. ミラーyumリポジトリサーバーの構成

1.1 AmbariおよびIOPのダウンロード

今回構成するサーバーは外部ネットワークへの接続ができないため、事前に以下のファイルをダウンロードしておく必要があります。利用するバージョンに合わせたファイルをダウンロードしてください。

  • https://ibm-open-platform.ibm.com/repos/Ambari/rhel/6/x86_64/2.1.x/GA/2.1/ambari-2.1.0.0.el6.x86_64.tar.gz
  • https://ibm-open-platform.ibm.com/repos/IOP/rhel/6/x86_64/4.1.x/GA/4.1.0.0/iop-4.1.0.0.el6.x86_64.tar.gz
  • https://ibm-open-platform.ibm.com/repos/IOP-UTILS/rhel/6/x86_64/1.1/iop-utils-1.1.0.0.el6.x86_64.tar.gz
  • https://ibm-open-platform.ibm.com/repos/IOP-UTILS/rhel/6/x86_64/1.1/openjdk/jdk-1.8.0.tar.gz

以下にwgetコマンドを利用して取得する例を示します。

online> wget https://ibm-open-
platform.ibm.com/repos/Ambari/rhel/6/x86_64/2.1.x/GA/2.1/ambari-2.1.0.0.el6.x86_64.tar.gz

上記ファイルが見つからない場合は、ブラウザなどでURLの確認が可能してください。

1.2 Ambari用リポジトリファイルの作成

yumを利用したインストールが行われるため、リポジトリの追加が必要となります。IBMのサイトからrpmをダウンロードして実行します。

> yum install iop-4.1.0.0-1.el6.x86_64.rpm

なお、リポジトリファイルを直接作成しても構いません。

1.3 httpサーバの起動とリポジトリファイルの準備

yumで接続するためのhttp サーバーを起動します。ここではRed Hatに組み込まれているApache httpdを利用します。

mirror> /etc/init.d/httpd start

デフォルトのdocument root ディレクトリを作成し、1.1で取得したファイルをミラーリポジトリにアップロードし解凍します。

mirror> mkdir –p /var/www/html/repos
mirror> cd /var/www/html/repos 
mirror> tar -xvzf /upload_directory/ambari-2.1.0.0.el6.x86_64.tar.gz
mirror> tar -xvzf /upload_directory/iop-4.1.0.0.el6.x86_64.tar.gz
mirror> tar -xvzf /upload_directory/iop-utils-1.1.0.0.el6.x86_64.tar.gz

Webブラウザでhttp://mirror.ibm.com/repos にアクセスし、ファイルが正しく配置されていることを確認します。

2. Ambariサーバーのインストールと起動

2.1 Ambariサーバーのインストール

Ambariのインストールを実行します。Ambariのリポジトリが存在していることを確認してます。存在しない場合は手順1.2を実施してリポジトリに追加してください。また、依存性のあるソフトウェア(例えばPostgreSQL)をインストールするために、Red Hat Linuxの持つRPMもyumからインストール可能にする必要があります。以下はローカルにマウントしたDVDのRPMを取得する設定例となります。

[rhel-dvd]
name=RHEL 6.7 x64 DVD
baseurl=file:///media/cdrom/
enabled=1
gpgcheck=1
gpgkey=file:///media/cdrom/RPM-GPG-KEY-redhat-release

リポジトリが正しく登録されているか以下コマンドで確認します。

ambari> yum repolist all
repo id          repo name               		status
ambari           BigInsights local repo     	enabled:     6
rhel-dvd		RHEL 6.7 x64 DVD		enabled:     3819

リポジトリファイル作成後、インストールを実行します。

ambari> yum install ambari-server

2.2 Ambariサーバーの構成

現在のAmbariはオンラインインストールの際にミラーサーバーを利用したインストールが実行されるように構成されています。この後にBigInsightsクラスターの作成を行いますが、各ノードへのコンポーネントインストール時には、ここで記述したURLを元にrepoファイルが各ノードに作成されます。AmbariのWebGUIから直接変更することもできますが、今回はAmbariの構成ファイルを事前に修正します。

/var/lib/ambari-server/resources/stacks/BigInsights/4.1/repos/repoinfo.xmlを開いて以下太字部分を修正してください。
パスの「4.1」はバージョンを示しています。導入するバージョンに合わせて変更してください。
例えば、「4.2」の場合は/var/lib/ambari-server/resources/stacks/BigInsights/4.2/repos/repoinfo.xml となります。

<os type="redhat6">
    <repo>
      <baseurl>http://mirror.ibm.com/repos/IOP/RHEL6/x86_64/4.1</baseurl>
      <repoid>IOP-4.1</repoid>
      <reponame>IOP</reponame>
    </repo>
    <repo>
      <baseurl>http://mirror.ibm.com/repos/IOP-UTILS/RHEL6/x86_64/1.1 </baseurl>
      <repoid>IOP-UTILS-1.1</repoid>
      <reponame>IOP-UTILS</reponame>
    </repo>
  </os>

利用するJDKの設定を行います。/etc/ambari-server/conf/ambari.propertiesのjdk1.7.urlおよびjdk1.8.urlを編集します。

ambari> cat /etc/ambari-server/conf/ambari.properties | grep jdk
jdk1.7.url=http://mirror.ibm.com/repos/IOP-UTILS/RHEL6/x86_64/1.1/openjdk/jdk-1.7.0.tar.gz
jdk1.8.url=http://mirror.ibm.com/repos/IOP-UTILS/RHEL6/x86_64/1.1/openjdk/jdk-1.8.0.tar.gz

2.3 Ambariサーバーの起動

rootユーザーでAmbariサーバーの初期構成と起動を行います。

ambari> ambari-server setup
ambari> ambari-server start

2.4 Ambariサーバーの確認

webブラウザでhttp://ambari.ibm.com:8080/ にアクセスし、ログインページを確認します。ユーザー名およびパスワードはともに「admin」です。

3. BigInsightsクラスターの作成

BigInsightsのクラスタ作成を行う前にインストールの際に必要とされる設定を事前に行います。以下は今回の環境で修正および確認した項目になります。インストールを行う際にはこの他の項目に関しても設定が必要になる可能性があります。

3.1 事前設定

3.1.1 名前解決

BigInsightsのインストールを行う際には、IPアドレスではなくFQDNが必要です。各サーバーで名前解決が正しく行われることを確認して下さい。

DNSがない場合は/etc/hostsに以下の形式で記述されていることを確認して下さい。

IPアドレス	ホスト名(FQDN)	ホスト名(ショートネーム)

3.1.2 パスワードレスsshの設定

AmbariサーバーとBigInsightsクラスター間でパスワードレスsshが実行できる必要があります。パスワードレスsshの設定は以下のように実施します。

ambari> ssh-keygen –t rsa
ambari> ssh-copy-id -i ~/.ssh/id_rsa.pub root@binode.ibm.com
ambari> ssh root@binode.ibm.com

最後にsshで接続確認に対してyesを実行します。

3.1.3 Linux rpmsの設定

Ambari導入時と同様に、BigInsightsインストール時には依存性のあるパッケージが同時にインストールされます。すべてのノードがRed Hatのrpmを導入可能なように構成してください。

3.1.4 NTPの設定

ネットワーク内のNTPサーバーを登録してすべてのノード間の時間を同期してください。

3.1.5 セキュリティ設定の変更

ambari> service iptables stop
ambari> chkconfig iptables off

ambari> vi /etc/selinux/config
SELINUX=disabled
ambari> setenforce 0

インストール時にはSELinuxおよびファイアウォールの無効化が必要となります。

3.1.6 Transparent Huge Pagesの無効化

Transparent Huge Pagesを無効化するために以下コマンドをすべてのノードで実行します。

ambari> echo never > /sys/kernel/mm/transparent_hugepage/enabled

3.2 クラスターの作成

webブラウザでhttp://ambari.ibm.com:8080/ にアクセスし、ユーザー名「admin」、パスワード「admin」でログインします。

WelcomeページよりLauch Install Wizardを選択してクラスターへのインストールを実行します。

必要に応じてサービスの割当やパスワードの設定を行ってください。

4. IBM value-addedサービス(Big SQL、Big R)のインストール

value-addサービスに関しても、手順はこれまでとほとんど変わりません。基本的には以下の流れになります。

  • 事前に必要なファイルをダウンロード
  • ミラーyumリポジトリに追加
  • Ambariサーバーからサービスの追加を実行

上記手順を行うことで殆どのサービスはインストール可能ですが、ここでは追加操作が必要となるBig SQLとBig Rのオフラインインストール方法を紹介します。

4.1.1 IBM value-addedサービスのダウンロードとミラーリポジトリへのアップロード

IBM Passport Advantageからbinファイルをダウンロードし実行します。例えばDataScientistモジュールの場合はbds-1.1.0.1.el.x86_64.binというファイル名です。このファイルを実行するとオンラインインストールをするかオフラインインストールをするかの確認があり、オフラインを選択するとファイルのダウンロードが始まります。

ダウンロードしたtar.gzファイルを解凍し、1.3と同様にwebアクセス可能にします。

online> tar –xvzf bds-1.1.0.1.el.x86_64.bin
Creating directory ./BigInsights
Verifying archive integrity... All good.
Uncompressing Big Insights Data Scientist Package  100%
************************************************************************
 License Files
************************************************************************
License files are available in the  /downloads/BigInsights/licenses
1. Do you Accept the Terms and Conditions in the Licenses Directory ? (y/n) : y

************************************************************************
 Installation Type (Online/Offline)
************************************************************************
2. Will this be an ONLINE(1) or OFFLINE(2) Installation ? 2

IOPモジュールの場合と同様に、ダウンロードしたパッケージをミラーリポジトリにアップロードしてyumリポジトリに追加します。

mirror> mkdir –p /var/www/html/repos/valueadds
mirror> cp BigInsights/packages/* /var/www/html/repos/valueadds/
mirror> createrepo /var/www/html/repos/valueadds

createrepoコマンドで、指定したディレクトリ内のRPMの情報をまとめてyumで利用可能にしています。createrepoコマンドが存在しない場合はyumを利用してインストールしてください。

4.2 IBM value-addedサービス(Big SQL)のインストール

4.2.1 事前設定

今回の環境で必要となった追加処理は以下のとおりです。利用しているバージョンによって追加で対応が必要になる場合があります。

4.2.1.1 kshのインストール

すべてのノードでkshのインストールが必要です。yumコマンドなどでインストールを行ってください。

4.2.1.2 パスワードレスsshの設定

IOPのインストールではAmbariとその他ノード間のパスワードレスsshを設定しましたが、Big SQLではすべてのノード間でメッシュ状にsshが設定されている必要があります。3.1.2の例を参照して設定してください。

4.2.1.3 ttyなしのsudoを許可する

ファイル /etc/sudoers の Defaults requiretty の行をコメントアウトします。

4.2.2 AnalystモジュールのインストールとBig SQLのインストール

AmbariサーバーにログインしてAnalystモジュールのインストールを行います。

mirror> BI-Analyst-1.1.0.0-IOP-4.1.x86_64.rpm

設定ファイル(/var/lib/ambari-server/resources/stacks/BigInsights/4.1/repos/repoinfo.xml)にIBM VALUEPACKが追加されるので、ミラーリポジトリを参照するように編集します。

….
   <repo><baseurl>http://mirror.ibm.com/repos/valueadds
….

変更を反映させるためAmbariサーバーの再起動を行った後、Ambariにログインして[Add Servcie] -> [Big SQL]を選択するとインストールが実行されます。

4.3 IBM value-addサービス(BigR)のインストール

BigRのインストール前にRのインストールが必要となります。
Rをインストールするために必要なパッケージのダウンロードおよびインストール方法については、Technoteを参照してください。

なお、デフォルト設定でオンライン・インストールを実施した場合には、以下のサイトよりRのパッケージがダウンロードされます。

オフライン・インストールを実施するためには、Technoteに従ってRのパッケージをダウンロードした後に、/var/lib/ambari-server/resources/stacks/BigInsights/4.1/services/RSERV/package/files/r.repoに定義されているリポジトリURLを編集することでオンラインインストールと同様の手順でインストールすることが可能になります。


ダウンロード可能なリソース


関連トピック


コメント

コメントを登録するにはサインインあるいは登録してください。

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=60
Zone=Information Management
ArticleID=1021868
ArticleTitle=オフライン環境でBigInsights4.x IOPとIBM Value-addedサービスのインストールを実行する
publish-date=01162017