IBM®
本文へジャンプ
    Japan [変更]    ご利用条件
 
 
検索範囲検索:    
    ホーム    製品    サービス & ソリューション    サポート & ダウンロード    マイアカウント    
skip to main content

developerWorks Japan  >  Autonomic computing | WebSphere  >

問題判別のためのデータ収集を自動化する: 第 1 回 自動問題判別ツール

概要

developerWorks
ページオプション

JavaScript を要するドキュメントオプションは表示されません

原文はこちら

原文はこちら


レベル: 初級

Bob Moore (remoore@us.ibm.com), Advisory Software Enginner, IBM 
Brad Topol (btopol@us.ibm.com), Senior software engineer, IBM 
Jie Xing (jiexing@us.ibm.com), Advisory Software Engineer, IBM 

2005年 5月 17日
2006年 2月 24日 更新

IBM WebSphere® Portalの問題判別シナリオのサンプルを通して、自動問題判別(Automated Problem Determination)ツールの使い方を順を追って学びましょう。この更新された記事はシリーズの第1回として、WebSphere Portalに関する問題を診断する上で、自動問題判別ツールがどのように役立つかを学びます。またこのツールを、WebSphere Application Serverなど、他のIBMソフトウェア製品にも同じように使ってみます。こうした説明を通して、このツールの構造の概要や、WebSphere Portalのログイン問題を診断するための使い方について学びます。このシリーズの今後の記事では、このツールを拡張し、カスタム化して、他の様々な製品や問題タイプ、ログ・フォーマットなどをサポートする方法を学びます。

はじめに

自動問題判別ツールは、オートノミック・コンピューティング技術を示す一例として、問題管理のサービス・フローを自動化しています。問題管理のためのITIL(IT Infrastructure Library)サービス・フローでは、データ収集やナレッジ・ベースへの追加は、問題診断と関連付けられています。自動問題判別ツールは、オートノミックな問題管理サービス・フローに関連した多くのタスクを自動化することができます。

自動問題判別ツールは、様々なIBMソフトウェア製品(WebSphere PortalやWebSphere Application Serverなど)のトラブルシューティングに使うことができます。また、こうした製品で定義されている数多くのデータ収集(MustGather)手順を自動化して提供しています。このツールは、これらの製品に関する問題判別シナリオのための、自動データ収集とシンプトン(症状)分析を主な目的としています。ある問題シナリオに関係する情報が収集、分析され、特定な問題の原因を判別するために使用されます。自動問題判別ツールを利用することによって、適切なRAS(reliability, availability, and serviceability)トレース・レベルを設定して問題を再現するための時間を減少させることができます(トレース・レベルはツールが自動的に設定します)。また、適切なログ情報をIBMサポートに送るための作業や、そこからシンプトン分析するための作業も削減できるため、問題判別プロセスの整理にも役立ちます。

自動問題判別ツールは、当初対象とされているIBMソフトウェア製品群に関する特定な問題への補助だけではなく、カスタム化することによって、他の製品や他の問題シナリオに対応することもできます。このカスタム化は、次のような別々な方法で行うことができます。

  • Antスクリプトを変更することによって、各問題シナリオに対する自動問題判別ツールのステップ・シーケンスを変更することができます。こうしたAntスクリプトには、このツールのために特に定義された、標準AntタスクとカスタムAntタスクの両方が含まれています。Antについて詳しくは、『Apache Ant User Manual』を参照してください。参考文献には、このページへのリンクを挙げておきます。
  • 幾つかのXML文書を修正することによって、このツールの振る舞いの、他の面を修正することができます。これらの文書で制御できる項目としては、ツールのGUIを使う際に最初に表示される問題タイプのセットや、各問題タイプに対してどのスクリプトを呼び出すか、シンプトン分析用に使用するシンプトン・セット、シンプトン分析用に生成するレポートのフォーマットや内容などがあります。

この記事では、WebSphere Portalの問題シナリオを詳細に解説し、ツールの使い方全般の概要を学びます。今後の記事では以下のように、このツールを拡張し、カスタム化する方法に焦点を当てます。

  • 「Part 2: The Automated Problem Determination Tool: Customization overview」では、ツールの振る舞いをカスタム化する方法を概説し、またカスタム化への取り組み方について一般的な説明を行います。
  • 「Part 3: The Automated Problem Determination Tool: Overview of symptom analysis」では、このツールのシンプトン分析機能の拡張方法を詳細に解説します。特に、構造化されていない、製品特有なフォーマットを持つログ・レコードの分析に焦点を当てながら解説します。
  • 「Part 4: The Automated Problem Determination Tool: Symptom analysis with XML-formatted log files」は、XMLフォーマットのログ・レコードに対するシンプトン分析機能の拡張方法を説明します。XMLベースのコモン・ベース・イベント(CBE)フォーマットでのログ・レコードを中心に説明しますが、それ以外についても説明します。

これ以外にも、このツールのカスタム化に関する他の側面についてのベスト・プラクティスを解説する記事が書かれるかも知れません。




上に戻る


ツールを何もいじらず、そのままの形でWebSphere Portalの診断用に使う

皆さんの最終的な目標が、他の環境用に自動問題判別ツールを修正することであったとしても、最初はツールを何もいじらず、そのままの形でWebSphere Portalに使うことを推奨します。それによって、変更可能なコンフィギュレーション・オプションの役割を理解することができ、また、このツールの基本的な目標をよく理解することができます。つまりこのツールの目標は、ソフトウェアの問題に関する全体的なデータ収集プロセスを単純化することであり、また、こうしたデータをIBMサポートに転送するためのプロセスを単純化することなのです。

WebSphere Portalのユーザーが問題に直面すると、即座に次のような疑問が浮上します。

  • 問題に関係するデータのうち、IBMサポートが問題診断に必要とするデータはどれなのか
  • こうしたデータを収集するためには、どんな手順に従うのか
  • データが収集できたら、それをどうやってIBMサポートに送るのか

これら3つのステップどれに対しても、問題診断用に収集が必要なデータの量は、(小さ過ぎない限り)小さければ小さいほど有利です。自動問題判別ツールに付属しているスクリプトやコンフィギュレーション設定は、様々なIBMソフトウェア製品に対してIBMサポート組織が持っている長年の知識や経験を集大成したものです。これらによって、それぞれの問題カテゴリーに対して、最も適切な問題データを特定できるのです。

自動問題判別ツールは、問題に対する製品データの適切なサブセットを選択できることに加えて、1つでプロセス全体を網羅するユーザー・インターフェースを持っています。つまりこのインターフェースは、問題データをキャプチャーするためのソフトウェア製品の設定、そうしたデータのキャプチャー、IBMサポートに転送するためのパッケージング、そして実際の送信まで、すべてを網羅するのです。

今度はWebSphere Portalに注目すると、自動問題判別ツールはこの製品に対して、14種類の収集オプションをサポートしています。こうした収集オプションは、3つのカテゴリーに分けることができます。これを下記に示します。

  • インストールとコンフィギュレーション
    • ポータルのインストールに関する問題
    • ポートレットのインストールに関する問題
    • ポータルのコンフィギュレーションに関する問題
    • ポータルのアップグレードに関する問題
    • ポータルのXMLコンフィギュレーション・インターフェースに関する問題
  • セキュリティーと管理
    • ポータルのアクセス制御に関する問題
    • ポータルのログインに関する問題
    • ポータルのユーザーとグループの管理に関する問題
    • ポータルの起動/停止に関する問題
    • ポータルとIBM Tivoli® Access Managerとの統合に関する問題
  • 全般
    • ポータル全般に関する問題
    • WebSphere PortalのRAS(reliability, availability, and serviceability)収集ツールの実行
    • ポータルの問題分析レポート
    • ポータルが収集する製品情報

この収集オプションの1つ、WebSphere Portalへのログイン問題についてのデータ収集を見てみましょう。これら14種類の収集オプションの詳細は、自動問題判別ツールのユーザー・ガイドの中にあります。このガイドの入手方法については、自動問題判別ツールを入手し、インストールするを見てください。




上に戻る


自動問題判別ツールを入手し、インストールする

自動問題判別ツールの最新版は、IBM SupportのWebサイトから入手することができます。

このサイトから取得できるRasGUI.zipファイルまたはRasGUI.tarファイルには、ツールのユーザーズ・ガイドが含まれています(RasGUI/doc/AutoPDToolUserGuide.pdf)。このユーザーズ・ガイドは、同じサイトから別のダウンロードで入手することもできます。ユーザーズ・ガイドには、Windows™やLinux™、IBM AIX®、Solaris、IBM eServer™ iSeries™などの環境に自動問題判別ツールをインストールするための詳細な手順が含まれています。例えばWindowsの場合では、RasGUI.zipファイルは単純に、WebSphere Portalのルート・ディレクトリーである%WPS_HOME%ディレクトリーに解凍されます。この操作によって、%WPS_HOME%の下にRasGUIというサブディレクトリーが作られ、この中に自動問題判別ツールの全コンポーネントが含まれています。ツールの解凍は、WebSphere Portalが置かれたシステム上の別のディレクトリーで行うこともできますが、その場合には、ツールを使う前に追加のコンフィギュレーション・ステップが必要です。




上に戻る


ポータルのログインに関する問題を診断する

自動問題判別ツールは、WebSphere Portalログイン問題用のAntスクリプトに従って、次のような動作を行います。

  1. WebSphere Portalが停止され、必要なサーバー・ログ・ファイルやプロパティー・ファイル、セキュリティー関連のコンフィギュレーション・ファイルなどのバックアップ・コピーが作られます
  2. バックアップされたファイルは、元の場所から削除されます。これによって、WebSphere Portalが再起動してログイン問題が再現した場合に作られるファイルは、その問題のみに着目したものになります。
  3. ログイン問題を診断するためのトレースがイネーブルされ、WebSphere Portalが再起動されます。
  4. ここでユーザーにログイン問題を再現する機会が与えられます。自動問題判別ツールは、ユーザーから問題再現が完了した旨の指示があるまで一時停止します。
  5. WebSphere Portalは再度停止し、ログイン問題の診断に有用な情報を含む可能性のあるファイルが収集され、IBMサポートに送るためにzipファイルに圧縮されます。これらのファイルは先に削除されたファイルなので、ユーザーが問題を再現した時に作られたエントリーのみを含んでいます。
  6. このzipファイルの中には、自動問題判別ツールが生成する分析ドキュメントも含まれています。自動問題判別ツール分析情報レポート(Automated Problem Determination Tool Analysis Information Report)ドキュメントは、ログファイルやトレース・ファイルの中から最も問題診断に役立ちそうなエントリーを抽出し、こうしたエントリーを、最もIBMサポートに便利なようにフォーマットします。
  7. ユーザーの許可が得られると、自動問題判別ツールはzipファイルをFTP(File Transfer Protocol)を使ってIBMサポートに転送します。
  8. 自動問題判別ツールはステップ1で作成したバックアップ・コピーを使って、サーバーのログファイルやトレース・ファイルなどを、プロセスの最初の状態に回復します。

自動問題判別ツールは、このステップ・シーケンスに従ってWebSphere Portalのログイン問題を処理します。他の収集タイプでは、このシーケンスは異なります。例えばWebSphere Portalは、すべての場合に停止、再起動するわけではありません。各収集タイプに対する詳細なステップ・シーケンスはユーザーズ・ガイドに説明されていますが、ツールのユーザーは、こうしたシーケンスを特に気にする必要はありません。ユーザーは単純に、ツールのGUIから幾つかの質問に答えて収集を開始し、ツールが作業を完了するのを待つだけです。つまりツールが、適切なステップを適切な順序で行ってくれるのです。

自動問題判別ツールのユーザー・インターフェース

図1は、このツールを最初に開いた時のGUIを示しています。問題タイプを選択するためのツリーは、展開されておらず隠れています。このGUIには、スクリプト呼び出し用の収集zipファイルの名前を規定するためのフィールドもあります。また、収集スクリプトを基に進行状況の詳細を示すメッセージを表示するための、プログレス・ウィンドウも用意されています。


図1. 自動問題判別ツールのユーザー・インターフェース
図1. 自動問題判別ツールのユーザー・インターフェース

この記事で使用している図はすべて、ツールをGUIモードで実行している場合の様子を表しています。GUIの他にも、スクリプトをコンソールで実行する(つまりコマンドライン)オプションや、サイレント・スクリプト・モード(ツールの入力がテキスト・ファイル)もあります。さらに、4番目のモードを追加するための作業も行われています。このモードでは、ユーザーはWebブラウザーからツールとやり取りすることができます。このモードは、近い将来にツールがIBM Support Assistantの次期リリースに統合された時に使えるようになる予定です。スクリプトを書く人は、ツールのランタイムによって、こうした様々なスクリプト実行モードから隔離されています。この記事と、このシリーズの今後の記事では、GUIモードを使います。

収集のための設定を完了する

図2は、収集を始めるために必要な全情報を含んだGUIを示しています。収集zipファイル用に使用する名前は、推奨のフォーマットで入力されています。収集オプションのツリーも展開され、Portal Login Problemオプションがハイライトされています。この時点でCollect Dataボタンを押すと、WebSphere Portalログイン問題に対する収集スクリプトが開始します。


図2. すべての収集オプションが選択されている
図2. すべての収集オプションが選択されている

WebSphere Application ServerとWebSphere Portalのルートを尋ねる

収集を完了するためには、ツールはWebSphere Application ServerとWebSphere Portal両方のルート・ディレクトリーを知らなければなりません。システム上には、これらの製品の複数インスタンスがインストールされている可能性があるため、どれを収集用に使用すべきなのかツールが知るための唯一の手段は、ユーザーに尋ねることです。図3は、このために使用する2つのダイアログ・フォームを示しています。ツールが最初にインストールされると、最上位のバージョンが現れます。ユーザーは、ディレクトリー情報をテキスト・ボックスの中に直接入力するか、あるいはBrowseボタンを使って、目的とするディレクトリーまでナビゲートします。ユーザーが入力する情報が検証されると、その情報は次回ツールが使われる時に備えて不揮発ストレージに保存されます。その時に、2番目の方のダイアログが、その前に入力した値が既に表示されている状態で現れます。この状態でも、ユーザーは、(新しい値を直接入力することによって、あるいは、そのフィールドに関連付けられたBrowseボタンを使うことによって)このキャッシュされた値をオーバーライドすることができます。例えば、システム上にWebSphere Application ServerとWebSphere Portalの複数インスタンスがインストールされており、前回ユーザーが指定したものが今回の収集対象ではない場合には、このオーバーライドが必要になるかも知れません。


図3. WebSphere Application ServerとWebSphere Portalのルートを尋ねるポップアップ・ウィンドウ
図3. WebSphere Application ServerとWebSphere Portalのルートを尋ねるポップアップ・ウィンドウ

図3の2番目のダイアログで示されているルート・ディレクトリーは、私達のテスト・システムでは正しいディレクトリーです。ただしこれらは、これらの製品をインストールした時のデフォルトのディレクトリーではありません。例えば、WindowsシステムでWebSphere Application Serverがデフォルトでインストールされるのは、次のディレクトリーです。C:\Program Files\WebSphere\AppServer

WebSphere Portalがクラスターに属するかどうかを尋ねる

図4はユーザーに表示されるポップアップ・ウィンドウを示しており、収集対象となるWebSphere Portalノードが、何らかのクラスターに属しているかどうかを尋ねています。その答えによって、スクリプトの進行は異なります。


図4. WebSphere Portalノードがクラスター化されているかを尋ねるポップアップ・ウィンドウ
図4. WebSphere Portalノードがクラスター化されているかを尋ねるポップアップ・ウィンドウ

このWebSphere Portalはクラスターの一部ではないので、Noを選択し、スクリプトを続行します。

WebSphere Portalを停止する

収集対象となるWebSphere Portalは実稼働サーバーかも知れないため、ツールは、このサーバーの停止再開を繰り返しながら進めるべきかを尋ねます(図5)。WebSphere Portalを停止できない場合には、ツールには収集を終了する以外に選択肢はありません。この場合、ユーザーにとっての選択肢は、後でサーバーを停止できる時になったら収集を再開することです。


図5. WebSphere Portalの停止許可を要求するポップアップ・ウィンドウ
図5. WebSphere Portalの停止許可を要求するポップアップ・ウィンドウ

ここではこの例で続行するため、WebSphere Portalを停止再開しながら進めるようにツールに伝えます。

ツールはスクリプトに従って進みながらステータスを提供する

図6は、ツールのGUIのプログレス・ウィンドウを示しています。ツールはスクリプトに従って進みながら、進行状況をユーザーにフィードバックします。各ステップにタイム・スタンプが付いていることに注意してください。これによって、問題が再現した時にキャプチャーされるログ・エントリーとの相関を調べることができます。このプログレス・ウィンドウに表示される情報もautopdecho.logファイル中のzipファイルの中に含まれているため、IBMサポートは、問題診断を行う際にこの情報を利用することができます。

GUIには、プログレス・ウィンドウに表示されるメッセージの他に、収集スクリプトの大まかな進行状況を示すプログレス・バーも含まれています。


図6. 自動問題判別ツールのプログレス表示
図6. 自動問題判別ツールのプログレス表示

ツールが、ユーザーが問題を再現するのを待つ

図7のポップアップ・ウィンドウは、ユーザーがWebSphere Portalのログイン問題を再現している間、ツールが一時停止している様子を示しています。問題の種類として、WebSphere Portalのログイン問題は、問題を再現しながら行う診断的な手法に向いています。通常は、失敗したログインを再現する意味で、同じ場所から、そして同じユーザーIDとパスワードを使って、そしてWebSphere Portalの認証機構の状態を最初に問題が発生した時と同じにして、ログインを再試行できるものです。


図7. 自動問題判別ツールがユーザーを待っていることを示すポップアップ・ウィンドウ
図7. 自動問題判別ツールがユーザーを待っていることを示すポップアップ・ウィンドウ

他のカテゴリーの問題(WebSphere Portalを正しくインストールしようとして失敗、など)は、問題を再現することは適切ではありません。こうした場合には、ツールは、問題が最初に発生した時に書かれたログ・レコードを単純に収集し、分析します。

WebSphere Portal自体の上でログイン問題を再現する

図8は、ユーザーがツールの外に出る必要があること、そしてWebSphere Portalそのものを操作してログイン問題を再現する必要があることを示しています。


図8. ユーザーがWebSphere Portal上で問題を再現する
図8. ユーザーがWebSphere Portal上で問題を再現する

収集されたデータをIBMサポートに転送する

図9のポップアップ・ウィンドウは、データの収集と分析が完了したこと、そしてログや分析レポート、autopd.logファイルなどを含んだzipファイルをIBMサポートに送る準備ができたことを示しています。ユーザーのマシンからのFTP転送に関する詳細は、ツールが処理します。ユーザーがすることは、匿名FTP用にプルダウン・リストからオペレーティング・システムを選択し、eメール・アドレスを入力することだけです(図10)。


図9. ユーザーが、収集されたデータをIBMサポートにFTPする
図9. ユーザーが、収集されたデータをIBMサポートにFTPする

図10.ユーザーが、FTP用の追加情報を入力する
図10.ユーザーが、FTP用の追加情報を入力する

IBMサポートのFTPサイト、ftp.emea.ibm.comで行われている自動動作は、自動問題判別ツールのメインGUIに記述されたファイル命名規則に完全に従っています。もしファイル名がこの規則に従っていない場合には、そのファイルはIBMサポートからは見えません。そのため自動問題判別ツールは、収集zipファイルをftp.emea.ibm.comに送るべくFTP操作を呼び出す前に、このzipファイルの名前が命名規則に従っているかどうか検証します。もしファイル名の形式が正しくない場合には、図11に示すポップアップ・ウィンドウが表示され、ファイル名を修正することができます。


図11. 収集zipファイルの名前を検証する
図11. 収集zipファイルの名前を検証する

もしFTPの送付先がftp.emea.ibm.com以外の場合には、この検証ステップは省略されます。これを利用すると、収集zipファイルを別の送付先に送ることができます。つまり自動問題判別ツールのFTP機能を使って、IBMサポートとは異なる命名規則を使用している別の送付先(例えばIBM Business Partnerなど)に送ることができます。

FTP処理が開始されると、ツールのプログレス・ウィンドウに進行状況が表示されます(図12)。転送が10%進む毎に、新しいメッセージが表示されます。


図12. FTP処理の進行をレポートする
図12. FTP処理の進行をレポートする

この際、zipファイルは収集開始前にユーザーがツールのGUI上で規定した場所にあるため、ユーザーはFTP処理を始める前にzipファイルの内容を調べることができます。一部ユーザーの報告によると、単純にzipファイルに含まれる分析レポートを調べるだけで、WebSphere Portalの問題を診断、修正することができ、このファイルをIBMサポートにFTPせずに済んでしまったということです。

収集が完了する

図13は、収集スクリプトが完了した後のGUIを示しています。この時点で、問題タイプを選択して(場合によっては新しい収集zipファイル名を入力して)Collect Dataを押すと、追加の収集を呼び出すことができます。


図13. 自動問題判別ツールの収集プログレス・ウィンドウが収集完了を表示している
図13. 自動問題判別ツールの収集プログレス・ウィンドウが収集完了を表示している



上に戻る


収集zipファイルの内容を見る

図14は、ツールがIBMサポートに送信する収集zipファイルの内容を示しています。最初の7つのエントリーは、ツールが作成したものです。これらの中には、自動問題判別ツールそのものに関連した分析レポートや幾つかのログも含まれています。その他のエントリーは、WebSphere Application ServerとWebSphere Portalのログやトレース、コンフィギュレーション・ファイルなどです。収集ファイルが解凍されると、これらのファイルはオリジナル環境で置かれていたのと同じ相対ディレクトリー位置(ただし最上位レベルは新しいautopdzip)に置かれることに注意してください。


図14. 自動問題判別ツールがIBMサポートに送信する収集zipファイルの内容
図14. 自動問題判別ツールがIBMサポートに送信する収集zipファイルの内容



上に戻る


分析レポートの中のエラーをハイライトする

図15は、分析レポートのサブセットを示しています。これを見ると、問題の直接原因が分かります。つまりユーザーがパスワードを間違っているのです。レポートに含まれる他の情報、あるいはzipファイルに含まれる他のファイル中の情報を調べると、単純なパスワード間違い以外のことが起きていることが分かるかも知れません。例えば、信用証明情報データ・ストアにアクセスしようとして問題が起き、ユーザーがどんなパスワードを入力しても拒否されているのかも知れません。必要なファイルはIBMサポートにFTPされたzipファイルにすべて含まれているため、サポートの人員は、問題を完全に診断できるまで、そして解決方法が分かるまで、あらゆる手掛かりをたどることができます。


図15. エラーをハイライトした、自動問題判別ツールの分析レポート
図15. エラーをハイライトした、自動問題判別ツールの分析レポート



上に戻る


まとめ

この記事では、自動問題判別(Automated Problem Determination)ツールの概要と、このツールを使ってWebSphere Portalのログイン問題を診断する方法の詳細を説明しました。このシリーズの今後の記事では今回の記事を基として、他の環境や製品、問題タイプに適用するために自動問題判別ツールをカスタム化し、拡張して行く予定です。




上に戻る


ダウンロード



参考文献

学ぶために

製品や技術を入手するために


著者について

Bob Mooreは、ノースキャロライナ州Research Triangle ParkにあるIBMのSoftware Group Advanced Design and TechnologyチームのAdvisory Software Engineerです。1977年にDuke Universityにて哲学の博士号を取得しています。1983年にIBMに入社して以来、SNA/Management ServicesやCMIP、SNMP、DMTF CIMなど、ネットワークやシステム管理に関する様々なアーキテクチャーや標準に携わってきました。連絡先はremoore@us.ibm.comです。


Brad Topolは、ノースキャロライナ州Research Triangle ParkにあるIBMのSoftware Group Advanced Design and TechnologyチームのSenior Software Engineerです。1998年に、Georgia Institute of Technologyにてコンピューター・サイエンスの博士を取得しています。現在は、自動問題判別サービスツール(Problem Determination Serviceability Tool)の開発リーダーです。これまで、オートノミック・コンピューティングやWebサービス、グリッド・コンピューティング、Webコンテンツ変換、アスペクト指向プログラミングなどの領域で、先端技術プロジェクトに携わってきました。連絡先はbtopol@us.ibm.comです。


author

Jie Xingは、ノースキャロライナ州Research Triangle ParkにあるIBMのAdvisory Software Engineerとして、1年半勤務しています。現在は、Webサービスやグリッド・コンピューティング、オートノミック・コンピューティングなどの領域で先端技術に携わっています。2000年に、North Carolina State Universityにてコンピューター・サイエンスにおけるオペレーションズ・リサーチで博士を取得しています。そこでの研究領域は、マルチエージェント・システムや分散システム、ワークフローなどでした。連絡先はjiexing-at-us.ibm.comです。




記事の評価


サイト改善のため、ご意見をお寄せください。こちらのフォームからお願いいたします。



 


 


不充分・不完全である大変素晴らしい
 


この記事を共有する

はてなブックマーク はてなブックマーク livedoorクリップ livedoorクリップ del.icio.us del.icio.us Buzzurl(バザール) Buzzurl(バザール) Choix! Choix!
Saafブックマーク Saafブックマーク FC2ブックマーク FC2ブックマーク MM/memo MM/memo ニフティクリップ ニフティクリップ Yahoo!ブックマーク Yahoo!ブックマーク
CZブックマーク CZブックマーク newsing newsing




上に戻る


    日本IBMについて プライバシー お問い合わせ