レベル: 中級 Abel W. Lin (awlin@ncmir.ucsd.edu), Software Architect, National Center for Microscopy and Imaging Research
2005年 11月 01日 エンドツーエンド・プロセスを「グリッド対応」にするとは、どのような意味なのでしょうか。この連載記事の第 1 回では、National Center for Microscopy and Imaging Research (NCMIR) の Telescience Project で開発されたグリッド・ベース・システムのアーキテクチャーについて説明します。このようなインフラストラクチャーが開発者をより統合化されたグリッドへ導くその道筋について学んでください。これは、ユーザー・インターフェース (Web ポータルやアプリケーション) と外部のアドレス可能なグリッド資源 (計器やコンピューター) の間のシームレスな相互運用性のための枠組みを提供する、拡張性、分散性、スケーラビリティーを兼ね備えたグリッド・ベースのサービス指向アーキテクチャー (SOA) です。次回以降の記事では、このプロジェクトの特定のコンポーネントを詳しく述べ、特定のツールが開発され、インフラストラクチャーの中に実装された理由と方法を説明します。
CAT スキャン (コンピューター断層撮影) 画像を比較する臨床研究者から、湾や河口のシミュレーションを行う生態学者に至るまで、テクノロジーの融合はあらゆる分野の研究者が飛躍的に増大するデータを収集し調査することを可能にしました。その結果、グリッド・テクノロジーを用いることで、以前は独立していた資源を、データ収集、計算、管理をするための仮想化された協調する資源のプールにすることができ、このおかげで研究者にはデータ分析についての計り知れない利便が約束されています。この連載では、ユーザーがグリッドの潜在能力を利用できるように設計されたスケーラブルなグリッド・ベースの SOA である Telescience Toolkit について詳しく解説します。今回は、Telescience Project のアーキテクチャーを紹介します。
さて、エンドツーエンド・プロセスを「グリッド対応」にするとは、どのような意味なのでしょうか。グリッド・テクノロジーの推進にもかかわらず、一歩下がって、エンドツーエンド・プロセスをグリッド対応にすることの本当の意味を評価しているグループはほとんどありません。National Center for Microscopy and Imaging Research (NCMIR) の研究者たちは、この時とともに大きくなっている課題に対処する新しいテクノロジーの開発と実装を行っています(この記事での「エンドツーエンド・プロセス」とは、データまたは情報の取得から、当初のデータ収集の結果である最終的な判断までの間で行われるすべてのステップと定義します)。
このグループは、Telescience Project において、遠隔計測研究における先駆的な研究(テレマイクロスコピーとして知られています)と、グリッド・ベースの分散コンピューティングおよびデータ管理との統合を通じてそのビジョンを示しました。私たちの研究チームは、三次元の生体画像解析と構造機能相関研究をアプリケーション・ドライバーに用いて、Telescience Toolkit を開発することができました。これは、統合されたセキュリティーを備えたグリッド・テクノロジーと科学的なプロセスを統合するエンドツーエンドのシングル・サインオン・インフラストラクチャーを---複雑なものになることなく---提供するものです。
まず、サイエンティフィック・グリッドについて少し触れておきましょう。
科学的なプロセスのグリッド・インフラストラクチャーへの移行
科学的なプロセスをグリッド・インフラストラクチャーに移行することの利点は、容易に理解できます。過去数年間にわたり、並列処理は、グリッド・コンピューティングの初期の取り組みも含めて、計算や分析が可能なデータの発生レートとその量を劇的に向上させました。しかし、大局的な見地から考えると、コンピューティングは科学的なプロセスの全体からみれば一つの要素でしかなく、しかも多くの場合はごく小さなものです。
そこに、分散データ管理に革命をもたらすことを約束するものとして、データ・グリッドが突如現れました。しかし、アプリケーションとそれらのデータ・グリッドの間に直接のやりとりがなければ、手の込んだデータ・ストレージ・システムであること以上の機能を提供するものにはなりません。グリッドの利点をエンドツーエンド・プロセスに活かすには、それらのテクノロジーを科学的なプロセス全体の主要なコンポーネントに等しく適用しなければなりません。言い換えれば、グリッド・テクノロジーがデータ収集、データ計算、およびデータ管理に等しく及んでいなければならないのです。
グリッド・テクノロジーの利点を研究に活かすには、アプリケーション開発者とユーザーのためにさまざまなタイプのグリッドを統合することができなければなりません。この、統合されたグリッドというビジョンがTelescience Project の最終的な目標です。
統合グリッドの実現
前述のとおり、グリッド・コンピューティングにおける初期の取り組みでは、インフラストラクチャーに対するビジョンは、計算にひどく偏っていました。現在のグリッド・プロジェクトは、学界、産業界を問わず、以下の三つの属性のいずれか (あるいはすべて) を提供するものになっています。
- グリッド・ソフトウェアによるコンピューティング・システムへのアクセスの向上
- グリッド対応アプリケーションを起動するための GUI をシンプルにする能力
- アイドル状態の資源を共通の目的のためにプールする機能 (サイクル・スカベンジングやスケジューリングなど)
これらの方向性はより大量のデータをより高速に計算することに重点を置いたものです。膨大な量のデータをすばやく処理する能力は、あらゆるプロセスにとって有益です (そして、グリッド・システムの目標の一つでもあります)。しかし、統合グリッドはそれだけにとどまらず、プロセス全体に対する意識を本質的に変えてしまう可能性を持っています。つまり、統合グリッドは、より大量のデータのより高速な処理を可能にするだけでなく、最初からより適切なデータを収集し、データ収集および処理方法を精緻化する能力を実現できるのです。
オンデマンドの世界におけるデータの質の向上
モノリシックで大規模なバッチ指向の計算ではなく、リアルタイム・オンデマンド・コンピューティングを実現するための空きコンピューティング・サイクルが、データを生成する機器自体から直接かつ動的に収集される環境を想像してみてください。私が思い描くオンデマンドの世界のビジョンでは、データは自動的に維持され、機器から処理・分析へと自由に流れていきます。その分析結果は機器に直接伝わり、データ収集のパラメーターや手法を絶えず精緻化するための自動的なフィードバックを提供します。この世界では、グリッドは単により高速に結果を得る手段にとどまらず、より良い生のデータを収集するための基礎となります。
では、より良い生のデータを収集できることは、どのような目的に役立つのでしょうか。たとえば、オンデマンド・グリッド・テクノロジーによって、地震感震器や、油層の埋蔵量を測定する分溜装置を動的に制御し、精緻化できるとしたらどうでしょうか。これらのシナリオは、機器、計算資源、およびデータを等価なものとして扱うことによってのみ実現が可能です。特に、この等価性は、エンド・ユーザー向けアプリケーションを開発する特定の領域のアプリケーション開発者に提供されるインターフェースに反映されなければなりません。
統合グリッドを妨げる障害
科学コミュニティーにおけるグリッド・テクノロジーの発展、そして最終的には統合グリッドを実現するという目標にとって、実際のところ、アプリケーション開発者がアプリケーションを中核的なグリッド・ミドルウェア・サービスに統合するスピードが障害になっています。特定領域のアプリケーション開発者は、グリッドの統合や利用を図るに当たって、主に以下の二つの課題に直面しています。
-
1. いかなるグリッド・インフラストラクチャー向けのものであれ、アプリケーション開発に必要なツールは必要以上に複雑である
グリッド・ミドルウェア・パッケージが提供する機能は相互に異なっており、かつ重複しています。たとえば、完全なエンドツーエンド・セキュリティー・インフラストラクチャーは、グリッドの最初のコンセプトから 5 年以上を経て、ごく最近になってやっともたらされたのです。さらに、無数にあるパッケージは、プログラミング・インターフェースがしばしば異なっており、コマンド行 (またはリンク・ライブラリー) しか利用できないものもあれば、Web サービス・インターフェースを提供しているものもあります。
-
2. 「グリッド」は、まだ比較的歴史が浅い分野である
今もなお開発のさなかであるグリッドの構成要素の各バージョンのライフ・サイクルは、サイエンス・アプリケーションの 2 倍から 3 倍といった速さで変更されることが多く、統合されたアプリケーションに頻繁に変更を加える必要が生じています。
どちらの課題にしても、アプリケーション開発者はグリッド・テクノロジー、グリッドの現在の状態と能力に加えて、今後見込まれる発展の方向性について深く理解する必要があります。この知識は確かに有益ですが(実行中のプロジェクトについて何がしか知っているというのはプラスになるものですが) 、必須条件であってはなりません。これらの課題は発展的思考を妨げる障害となり、アプリケーションとグリッドの相互作用を阻む可能性があります。
次に、Telescience Project を紹介しながら、このようなインフラストラクチャーがどのようにして開発者をより統合化されたグリッドに導くことができるのかを示します。
Telescience Project
Telescience Portal のインフラストラクチャーは、いかなる分野向けであれ、統合グリッドの開発をスピードアップできるように設計されています。ユーザーを物理的な資源に接続する、モジュラー式の拡張性を備えた 3 つのソフトウェア層からなります。図 1 は、Telescience アーキテクチャーの全体像です。このインフラストラクチャーは、グリッド資源およびサービスのモジュラー式の拡張性と透過的なオペレーションを可能にする下位の抽象化層の上に成り立っています。
図1. Telescience 統合インフラストラクチャーの階層図
ユーザーとの対話は、Web ポータル・インターフェースを介して行われ、一連の層を縦断して最終的に必要な物理資源に到達します。Telescience では、GridSphere フレームワークに基づくユーザー・ポータルを配置しています (JSR168 準拠のポートレット・システムであれば、上に示したサービスと対話が可能です)。ポータル層の機能は、アプリケーション・ミドルウェア間対話コンポーネント(Application to Middleware Interaction Component (ATOMIC)) サービス層と対話します。この統合サービス層が、アプリケーション開発者が中核のグリッド・コンポーネントと対話するための新しいメカニズムを代表するものです。アプリケーションやプログラムを必要なグリッドのコンポーネント個別に統合するという方法ではなく、ATOMIC は、バンドルによる統合されたプログラミング環境を提供します。
このインフラストラクチャーの各層は、さまざまなグリッド・コンポーネントを単に再パッケージ化したものではなく、中核の機能に基づく共通のサービスを公開します。たとえば、Telescience によって提供される認証サービスは、グリッド・ベースのエンドツーエンド認証に必要なすべてのソフトウェア・コンポーネントを、シンプルで統合されたサービスのセットにまとめたものです。ATOMIC バンドルは、アプリケーション及びポータルの開発者に単一の共通ソリューションを提供する統合コンポーネント・ソフトウェア・ツールキットです。
ATOMIC の理論的根拠
Telescience ではこの 5 年間にわたってアプリケーションとグリッド・テクノロジーを統合するためのツールの開発を進めてきており、ATOMIC はその経験を反映したものです。当時、私たちは、統合作業において袋小路に入り込むことがよくあることに気付きました。それは、アプリケーション開発者にグリッドの専門家になることを期待するのか、それともグリッド開発者にアプリケーション分野の専門家になることを期待するのかということです。統合されているにせよそうでないにせよ、グリッドがその約束と期待を裏切らない発展を遂げることが期待されるのであれば、この袋小路に対処しなければなりません。
ATOMIC の理論的根拠は、この袋小路を解決し、アプリケーション開発者とグリッド開発者の間の溝を埋めることでした。
ATOMIC ストラクチャーを顕微鏡でみる
ATOMIC は、クライアント側の資源を分散した物理的な資源にリンクするミドルウェア・インフラストラクチャーの複雑さから、ユーザーや開発者を解放します。図 2 は、現在利用可能な ATOMIC ツールを示しています。しかし、ATOMIC を理解する最も簡単な方法は、実際のソリューションをもたらす実際の例を見てみることです。黄色で示した ATOMIC 層が、統合グリッド・インフラストラクチャーの開発を可能にします。
図2. インターフェース開発者に統合グリッド・ビューを提供する ATOMIC
認証はあらゆるグリッド活動の中核となるものですが、グリッド認証のための完全なエンドツーエンド・システムは、つい最近まで存在しませんでした。Telescience Authentication and Authorization (TeleAuth) バンドルは、最初に行われる証明書の作成から永続的な証明書の管理に至るまでのエンドツーエンド・ソリューションを提供します。TeleAuth は、証明書のセキュアな管理を提供するバックエンドのセキュリティー・サービスと、Web / グリッド・ポータルとの緊密な統合を提供するフロントエンドのポートレット・セットからなります。
ただし、TeleAuth が公開するサービスは、実際には別個に開発されたいくつかのソフトウェア・パッケージの機能を組み合わせたものです。
- 証明書および鍵の生成
- MyProxy (プロキシーおよび証明書 / 鍵証明書管理用)
- Community Authorization Service (固有のアクセス制御ポリシーに基づく証明書の作成用)
- Storage Resource Broker (データ管理およびアクセス用) 管理ツール
TeleAuth がなければ、各アプリケーション開発者またはポータル開発者は、プロセス全体にわたり、これらのパッケージそれぞれを統合またはサポートしなければなりませんでした。
まとめ
グリッド・コミュニティーは、あらゆるコンポーネントに関する標準のインターフェースに向けて急速に動き、合流しつつあります。それに歩調を合わせ、Telescience および ATOMIC ツールは、今後も新しい標準に合わせて進化を続けていくでしょう。私の考えでは、この標準化に向けた動きは、ATOMIC 開発者の負担を軽減するものになるはずです。ちょうど、ATOMIC が科学アプリケーションの開発者の負担を軽減するのと同じように。
今回の記事では、研究プロセスのための統合グリッドの構築をサポートする階層化ツールキットである、グリッド・ベースの Telescience インフラストラクチャーを紹介しました。次回以降は、Telescience インフラストラクチャーの特定のコンポーネントについて、それらのツールが統合グリッドという目標の達成に私たちを導く例を示しながら、深く掘り下げます。
参考文献 学ぶために
製品や技術を入手するために
議論するために
- If you are new to hacking the kernel, find lots of resources including an IRC channel, a mailing list, and a wiki at KernelNewbies.org.
- Get involved in the developerWorks community by participating in developerWorks blogs.
著者について  | | | Abel W. Lin is the architect and technical lead for the Telescience Project at the National Center for Microscopy and Imaging Research. He has more than five years' experience applying grid and other computer science technologies to scientific processes. He designed and led the implementation of the first-generation proof-of-concept systems for the Telescience Portal and ATOMIC components of the Telescience Project, and is an interdisciplinary scientist with published research in biology and computer science. His interests include distributed systems architecture, software project management, and structural biology. Outside of the office, he is an avid reader, golfer, and bodysurfer.
|
記事の評価
| 
