Power Systems

AIがバスケットボールのハイライト動画を20秒で制作 – 中国テンセント社事例

記事をシェアする:

今年も、世界中のバスケットボールファンが注目の、北米プロバスケリーグの最終決戦「NBAファイナル2019」が5月30日(カナダ現地時間)に、カナダ・トロントにあるトロント・ラプターズの本拠地「スコシアバンク・アリーナ」で開幕しました。東地区代表のラプターズに対し、昨年に続くNBAファイナル3連覇を目指すのが今年も西地区を制した王者ゴールデンステイト・ウォリアーズ。現在、ファンが最も気にかけているのは、怪我で戦列を離れているウォリアーズの中心選手でリーグの顔のひとり、ケビン・デュラント選手がいつコートに戻ってくるのか、ではないでしょうか。

昨年の「NBAファイナル2018」は、王者ウォリアーズが4勝0敗でクリーブランド・キャバリアーズを一蹴。デュラント選手は4戦平均28.8得点、10.8リバウンド、7.8アシストを記録する大車輪の活躍。チームの4連勝での優勝に大きく貢献し、NBAファイナル2018 MVPに選出されました。

この記事では、2018年6月の「NBAファイナル2018」の際、中国でのNBAのパートナーであるテンセント社と、IBM Research-Chinaの「AI Visionチーム」が協力し、AIによって20秒ほどで自動的に作成・編集され、中国大陸のNBAファンへと届けられた、ケビン・デュラント選手をフィーチャーした約2分間のビデオ制作の裏側を取り上げます。

 

(※6月20日追記 : ケビン・デュラント選手は、NBAファイナル2019第5戦で、ふくらはぎの負傷を押してついに出場しました。しかし、11得点を記録しながら、その試合中に再び別の負傷をして退場してしまいます。後日、アキレス腱断絶の大怪我と判明し、長期の離脱が避けられない見込みです。デュラント選手が回復し再び元気な姿でコートに戻ってくることを、1人のNBAファンとして今はただ願うばかりです。)

 

AIが作った2分のハイライト動画

2018年6月8日(米国現地時間)、ウォリアーズとデュラント選手が優勝の歓喜に湧いていた、ちょうど同時に、太平洋の反対側、アジアの「シリコンバレー」として知られる北京のハイテクパークの、IBM Research-Chinaの「AI Visionチーム」はAI技術をバスケットボールの試合に適用することに熱心に取り組んでいました。 3時間の試合の間、IBM Research-ChinaのAIシステムはリアルタイムで生中継の試合の映像の各フレームを分析し分類しました。システムは選手を識別し、表情と動きをキーとなるアクション(シュート、リバウンド、ブロック、ルーズボールを追い掛けて床へのダイブなど)、ボールの弾道、ゴールネットの位置とともにタグ付けしました。

NBAファイナル2018に先立ち、「AI Visionチーム」は、デュラント選手がルーキーだった2007年から2018年までに出場した200時間以上の試合映像について同じ分析を行いました。デュラント選手がまだ歴史的な勝利を祝っている間に、編集者はボタンをクリック。およそ20秒で、デュラント選手の輝かしいオールラウンドな特徴を表したハイライト動画が作成されました。中国初のAIで編集されたバスケットボール・ハイライト動画は、テンセント・スポーツのオンライン・ビデオ・ストリーミング・プラットフォームでデビューしました。中国の1億4300万人のバスケットボールファンがこの動画をを楽しんだそうです。

下が、そのケビン・デュラント選手のハイライト動画です。

ハイライト動画の準備から制作まで

中国でスポーツビデオを編集するためにAIが使用されたのはこれが初めてです。 IBMはこのプロジェクトでテンセント・スポーツと協力しました。

この動画制作の準備として、テンセント・スポーツは何人かのNBAのスター選手について、それぞれ、どのようなキーワードが形容できるかを「正確無比」「パワフル」「ワイルド」「安定感」などの言葉の選択肢から選ぶようにファンに勧めるオンラインアンケートを実施しました。中国のファンは、3ポイントシュートを得意とするステファン・カリー選手を最も形容する言葉として 「正確無比」を、力強く相手をなぎ倒すレブロン・ジェームズ選手には「パワフル」を選択しました。

これらのキーワードに基づいて、人間の編集者は1〜2分のハイライト動画のための「台本」をあらかじめ用意します。台本では、動画の特定の部分で、どのような種類のシーンを出すかを指定しておきます。例えば、台本では、「レブロン・ジェームズ選手の2015年のダンク」を「レブロン・ジェームズ選手のパス」のシーンの後に流すように指定しておくのです。合わせて編集者は、ハイライト動画を盛り上げる音楽をセットしておきます。

人間の編集者からそのような台本を受け取ることで、AIシステムは動作します。ファンから投票されたキーワードと、編集者から提供された台本と音楽の情報を使用して、AIシステムは各プレーヤーのこれまでの何年分もの映像から最適なシーンの動画を選択し、それらをハイライト動画の形式で構成します。そうして出来上がったのが、先ほどのケビン・デュラント選手のハイライト動画です。

AIシステムの画面

 

舞台裏でAIはどのように働いているのか

この「AI Visionシステム」は、音声と映像の両方のデータを学習して取り込む、複数モードのシステムです。システムは、選手の顔を追跡して喜怒哀楽の表情を認識し、コート、バスケットボール、ゴール、選手の背番号・胸番号などの物体を識別します。そしてスラムダンク、シュート、アリウープ(空中でボールを受け取ってそのままシュートを決める、花形プレイのひとつ)、レイアップ、ルーズボールへのダイビング、応援の様子などを分類するのです。

AIシステムは、学習結果からニューラル・ネットワークを生成するディープ・ラーニング技術を使用して、シーンごとにダンクやブロックショットなど、特定のアクションが発生していることの確信度を反映して、各シーンの動画の信頼率を作成します。 全てのシーンは構造化データとして記録されるので、いつでも取り出して活用できます。このデータを用いて、例えばデュラント選手の全てのダンクシュートのシーンのみを取り出すことも可能でしょう。

AIシステムは、台本で求められたシーンの要件と、システムのデータベース内の各シーンの情報と照合します。例えば、システムがダンクが発生していると確信しているシーンに歓喜の表情が登録されている場合、そのシーンはよりエキサイティングであり、したがってハイライト動画に含めるのに適した候補だとシステムは考えます。

 

AIシステム活用で、広がる可能性

バスケットボール分析は、コンピュータによる画像認識にとって最も複雑なタスクの1つです。狭いコートで同時に10人もの選手が速いスピードで行き交い、スクリーン・プレイの際には、同じ場所に何人もの攻守の選手が重なるように集まります。さらに、複数のカメラアングル、および速いカメラの動きなどの、視覚的な複雑さは、バスケットボールのビデオ編集が非常に難しい仕事であることを意味します。人間にとって、これは何時間もかかる労働集約的なプロセスになるでしょう。

しかしAIのおかげで、それは今、単純化され合理化されることができます。人間の編集者はハイライト動画の内容、流れ、そして物語をまだ指示することができますが、完璧なシーンを見つけるために何時間もの映像を手動で探すという面倒な仕事から解放されます。AI Visionシステムが、3時間のゲームを処理して1分または2分のハイライト動画のファイナルカットを作成するのにかかる時間は、わずか20秒です。AIシステムは編集をより効率的にし、人間の編集者を、自由な創作や、革新性のある作業により集中することができます。また、短時間で多くのハイライト動画を制作することができれば、ファンへ、より多様な楽しみ方の選択肢を与えることもできるでしょう。

もちろん、このようなビデオデータから要素を取り出して再構成する技術は、バスケットボールだけでなく、他のスポーツの試合や、映画・ドラマの編集作業に応用することが可能です。製造業での検品、自動運転におけるカメラ画像の利用や、独居老人の医療サポートなどにも利用できる、AIアシスタントとなり、ビジネスや実生活のさまざまな場面で、私たち人間を助ける存在として、今後さらに進化していくことが期待されています。

 

先進企業が採用する高速AIプラットフォームとは?

さて、200時間以上もの試合の映像データから、わずか20秒で2分のハイライト映像を制作するAIシステムを稼働するために必要なものとは何でしょうか。それは、高速にデータを処理するだけの性能を持ったAIプラットフォームです。

IBM Power Systemsでは、AI向けに設計された最新のPOWER9プロセッサーを搭載している、AIプラットフォームを提供しています。NVIDIA GPU Telsa V100とPOWER9プロセッサーを搭載したIBM Power System AC922は、最新の世界スパコン性能ランキング「TOP500」(2018年11月発表)の1位と2位を占めたスーパーコンピューター「Summit」「Sierra」や、世界のAI活用の先進企業に次々と採用され、AIが得意とする複雑な計算処理に使われています。IBMが提供するAIプラットフォームについては、下のWebサイトをご覧ください。

今回ご紹介した中国テンセント社の映像制作の取り組みは、2019年2月に米国サンフランシスコで開催されたIBMのグローバル・イベント「Think 2019」内のセッションで紹介された事例です。Think 2019では、他にも先進のお客様の機械学習やディープ・ラーニングの事例が数多く紹介されました。グローバル・リーダーが採用するAI基盤(Think 2019 より)で、それらの概要を紹介していますので、ぜひ合わせてご覧ください。


関連情報

  • トロント・ラプターズ – コグニティブ・スラムダンク – 激戦の東地区を勝ち抜き、チーム史上初のファイナル進出を果たしたラプターズ。30チーム中唯一、米国外(カナダ・トロント市)に本拠を置くチームです。生活の違いや寒い気候などを理由に、ラプターズは必ずしもFA選手にとって人気のチームではなく、米国大都市の球団に比べると強化に制約を抱えていました。そのような中、他球団より効果的かつ素早く必要な選手を見極め、チームを強化するために採用したのが、IBM Sports Insight Centralのソリューションでした。2016年の導入後も、チームは毎年プレイオフに進出。2018年夏には、エースとなるカワイ・レナード選手を獲得するトレードを実施するなど、強化策が功を奏し、2019年、ついにファイナルに進出しました。

*本記事は、IBM Research and Tencent Delight Basketball Fans with AI-Based Highlight Reel (IBM Research Blog)の抄訳に一部を加筆したものです。


More Power Systems stories

SAP HANAへの投資効果を最大化するには

SAP HANAの導入を成功させる上で、インフラストラクチャーは重要な役割を果たします。企業は、SAP HAN […]

さらに読む

最新のデータ保管に対応したシンプルなストレージ

2019年10月22日(米国時間)、IBM はお客様のストレージに関する最優先事項に対処するための新しいストレ […]

さらに読む