NPUとGPUの違いとは

GPUには、グラフィックのレンダリングに必要な高速で正確な計算タスクを実現するために、数千ものコアが含まれています。NPUは、AIワークロードをリアルタイムでより適切に処理するために、データ・フローとメモリー階層を優先します。

どちらのタイプのマイクロプロセッサーもAIで使用される並列処理に優れていますが、NPUは機械学習（ML）と人工知能のタスク専用に構築されています。

ニューラル・プロセッシング・ユニット（NPU）は大きな注目を集めていますが、この10年近く前のテクノロジーが突然注目を集めているのはなぜでしょうか。その答えは、生成AI（人工知能）の最近の進歩によってAIアプリケーション、さらにはNPUやGPUなどのAIアクセラレーター・チップに対する一般の関心が再燃していることに関係しています。

NPUのアーキテクチャーは、CPUやGPUのアーキテクチャーとは大きく異なります。順番に命令を実行するように設計されたCPUは、GPUよりも処理コアの数が少なく、GPUは多くのコアを備えており、高レベルの並列処理を必要とする要求の厳しいオペレーション向けに設計されています。

CPUが並列処理タスクに苦労し、GPUがエネルギー消費量の多いコストに優れているのに対し、NPUアーキテクチャーは人間の脳のデータ処理方法を模倣することで繁栄します。NPUは、単にコアを追加するだけでなく、次のようなさまざまな主要な機能や技術を通じて、より少ないエネルギー消費で高い並列処理を実現します。

• 専用コンピューティング・ユニット： NPUは、ニューラル・ネットワーク・モデルのトレーニングと推論に不可欠な乗算および蓄積オペレーションに不可欠な専用ハードウェアを統合します。

• 高速オンチップ・メモリー： メモリー・アクセスに関連するボトルネックを最小限に抑えるため、NPUは高速統合メモリーを主要な機能としており、モデル・データと重みに迅速にアクセスできます。

• 並列アーキテクチャー： NPUは、何千もの並列オペレーションを実行するように設計されているため、データ・バッチの処理を非常に効率的に行えます。

NPUとGPUを比較する場合、主要な機能全体の性能を評価すると便利です。

• GPUは、要求の厳しい画像処理タスクを並列処理できる小さなオペレーションに分割するように設計されています。

• NPUは、オンチップ・メモリーを向上させながら乗算と加算を高速化するモジュールを使用して人間の脳を模倣するように設計されています。

• GPUは優れた並列コンピューティング機能を提供しますが、それには高い消費電力が伴います。

• NPUは、特に短時間の繰り返し計算に関しては、同等（あるいはそれ以上）の並列性を提供します。NPUは、ニューラル・ネットワークで使用されるAIアルゴリズムを処理するように設計されており、行列乗算を必要とする大規模なデータセットの処理に特に適しています。

• GPUはCPUよりも特殊ですが、汎用コンピューティングに適しています。

• NPUは、AIおよび機械学習のタスク専用に構築された特殊なプロセッサーです。また、GPUで使用される過剰な主要な機能の一部を排除し、エネルギー効率を最適化しました。

• GPUは、NPUの前身であるため、より開発された環境の恩恵を受け、消費者市場で広く入手可能です。プロフェッショナルや愛好家が利用できるNvidiaのCUDA言語では、さまざまなオペレーティング・システム用のオープンソース・コンパイルにより、GPUプログラミングが簡単に行えます。

• NPUはGPUよりも新しく、一般的にアクセスしにくくなっています。GoogleのTensor Processing Unit（TPU）やQualcommのSnapdragon（Appleが使用）など、多くの独自開発のNPUは、より広範な市場では利用できない可能性があります。IntelやAMDなどのメーカーが製造するNPUチップには、比較的少ないコミュニティーリソースがあります。

• GPUはゲームやコンピューター・アニメーションで頻繁に使用され、グラフィック・カードは画像処理の最適化を担当します。これらは、データセンター、暗号通貨マイニング、AIモデルのトレーニングなど、高度な並列処理を必要とする他のアプリケーションでも効果的です。

• NPUは、より焦点を絞ったスコープで使用され、必要な電力を抑えながら、優れた並列処理を提供します。NPUは通常、GPUと組み合わせて使用され、より要求の厳しいAIタスクの負荷を軽減し、大規模言語モデル（LLM）、ディープラーニング画像認識、ブロックチェーンとAIでのAIワークロードの処理などの機械学習タスクに最適です。

NPUを統合システムに組み込むと、速度、効率、利便性の点で、従来のプロセッサーに比べて多くの明らかなメリットが得られます。メリットには以下のようなものがあります。

• ローカリゼーション： AIアプリケーションの処理には大量のコンピューティング・リソースが必要となるため、クラウドに限定されることがよくあります。しかし、遠隔地にあるサーバーに依存するとオペレーションが遅くなり、機密情報がデータ漏洩の可能性に対して脆弱なままになる可能性があります。NPUにより、AIタスクのローカライズされたリアルタイム処理が可能になり、音声認識や顔認識、医療診断、自動運転システムなどの重要なアプリケーションのレイテンシーが短縮されます。

• リソース管理： 一般的に統合されたNPUは、AIアプリケーションに必要な反復的なタスクを引き受けることで、システム全体のリソースを最適化することができます。この種のタスクをNPUにオフロードすると、GPUリソースが解放され、大量のデータをより一般的な計算に処理できるようになります。

• 効率： GPUはAIに関連する多くの要求の厳しいタスクを処理できますが、NPUはこれらの要求専用であり、指数関数的に少ない電力を使用しながら、同等またはさらに優れた性能を満たすことができます。これは、有限容量を持つバッテリー駆動のデバイスにとって特に価値のある主要な機能です。

コプロセッサーとして、NPUは長年にわたって使用されており、通常はGPUと統合され、特定の反復的なタスクをサポートします。NPUは、消費者レベルのテクノロジー（Microsoft WindowsのAI Copilotなど）やさまざまなモノのインターネット（IoT）デバイス（音声認識の処理にNPUを使用するスマート・スピーカーなど）において、引き続き価値を持ちます。

しかし、最近のAIテクノロジーの発展により、より高度なAIモデルを搭載した消費者向けAIツールに注目が集まっているため、このタイプのプロセッサーに注目しています。自然言語処理などの要求の厳しいAIタスク向けに特別に設計されており、消費者向けAIへの関心が高まるにつれて、NPUへの関心も高まっています。

NPUの主なユースケースは次のとおりです。

• 人工知能と大規模言語モデル： NPUは、マルチメディア信号の解釈、音声認識の実行、自然な応答の生成に低遅延の適応型処理を必要とする大規模言語モデル（LLM）などのAIおよびMLシステムのパフォーマンスを向上させるために特別に構築されています。NPUは、ビデオ通話で背景をぼかしたり、画像を自動編集したりするなど、AI対応のビデオ処理タスクにも適しています。

• IoT（モノのインターネット）デバイス： 薄型でエネルギー効率に優れたNPUは、バッテリー電力が高価であり、効率が優先されるスマートフォン、モバイル・デバイス、ウェアラブルなどの小型スマート・デバイスに最適なコプロセッサーです。

• データセンター： 厳しいワークロードを処理することで知られるデータセンターは、NPUによる効率的なリソース最適化のメリットを享受しています。

• 自動運転車とロボティクス： 自動運転車から自律航空機（ドローン）まで、NPUはクラス最高の並列処理と信号処理速度の向上により、自律走行システムに価値を付加します。低遅延NPUは、コンピューター・ビジョンを必要とするアプリケーションに最適で、自動運転車が突然の交通や環境条件にリアルタイムで対応するのに役立ちます。ホーム・アシスタントから自動手術ツールまで、AI対応ロボティクスはNPUを利用して、環境を検知し、そこから学習し、環境に反応する能力を開発しています。

• エッジコンピューティングとエッジAI： エッジコンピューティングとエッジAIは、クリティカルなデータとコンピューティング・リソースを物理的にユーザーに近づけることを目指しています。これにより、レイテンシーが短縮され、エネルギー消費が軽減され、プライバシーが強化されます。NPUは、必要なエネルギーが少なく、物理的なフットプリントが小さくて済むため、エッジコンピューティングやオンデバイスAIの貴重なコンポーネントになりつつあります。

NPUが登場する前から、GPUは性能集約型の並列処理を必要とするコンピューティング・タスクに長い間好まれてきました。GPUは元々、ビデオ・ゲームや画像/ビデオ・ソフトウェアの複雑なグラフィックスを処理するために設計されましたが、PCやコンソールのゲーム、仮想現実や拡張現実、高性能コンピューティング（HPC）、3Dレンダリング、データセンター、その他のアプリケーションでも引き続き使用されています。

ここでは、次のようなGPUテクノロジーの最も重要かつ最新のアプリケーションについて詳しく見ていきます。

• 人工知能（AI）、機械学習（ML）とディープラーニング（DL）： AI、ML、DLタスクに特化した設計ではありませんが、GPUは、トレーニングのために大規模なデータセットを処理するために高速並列処理を必要とする多くの主要なAIアプリケーションを駆動しています（IBMのクラウドネイティブなAIスーパーコンピューターVelaなど）。GPUは並列処理により、MLやDLで使用される人間の脳の意思決定プロセスをシミュレートできます。

• クラウド・コンピューティング： 近年、クラウド・コンピューティングは、すべての主要業界のITインフラストラクチャーの重要な部分になっています。主要なコンピューティング・タスクをオフサイトに保管されている強力なサーバーにオフロードするには、計り知れないデータ処理能力が必要です。GPUは、並列コンピューティングを通じてビッグデータ分析とデータベース・クエリーを高速化することで、クラウド・コンピューティング・インフラストラクチャーを実現します。

• 視覚化とシミュレーション： 専門にグラフィックス処理を処理するGPUは、製品のウォークスルー、エンジニアリングCAD図面、医療画像処理、地震および地球物理学的モデリングなど、複雑な視覚化やシミュレーションが必要なタスクにおいて、業種に多大な価値をもたらします。その他の場所では、気候科学者はGPUを使用したシミュレーションを使用して気象条件を予測し、理論物理学者はそれを使用して量子レベルで粒子の動作をモデル化しています。

• ブロックチェーン： ブロックチェーン技術は、特に「プルーフ・オブ・ワーク」を検証する場合、GPUテクノロジーに大きく依存しています。暗号通貨ビットコインなどの広く使用されている多くのブロックチェーン・アプリケーションでは、台帳全体に加えられた更新が正確であることを確認するために、プルーフ・オブ・ワークの計算が実行されます。このレベルの計算はブロックチェーン全体に影響を与えるため、非常に要求が厳しく、最新のGPUなしでは不可能でした。

• ゲームとメタバース： ゲーム業界が急上昇を続けるにつれて、より優れたグラフィックス、大規模なマルチプレイヤー型オンライン（MMO）ゲーム、仮想現実や拡張現実ゲームを実現するような演算集中型レンダリングの需要も高まっています。ゲーム開発者やコンピューティングメーカーは、超現実的な環境のレンダリングに使用される高い画像更新レートや高度なレイ・トレーシングなどの最先端の主要な機能を強化するためにGPUを利用しています。

• ビデオ処理とコンテンツ制作： GPUの登場以来、Final Cut ProやAdobe Premiereをはじめとする一般的なビデオ編集製品のレンダリング時間は着実に短縮されています。現在、統合NPUを搭載したGPUは、大手ハリウッド・スタジオが使用するプロの編集スイートから、YouTuberやTikTokersが使用するスマートフォン・アプリまで、あらゆる動画作成・編集タスクを劇的に高速化しています。

NPUは、特定の種類のリソースを特定のタイプのプロセッサーに割り当てるオペレーションを最適化する統合システム内で最適に使用されます。精密なリニア・コンピューティング向けに設計されたCPUは、システムやリソース管理などの汎用プロセスに最適に割り当てられ、GPUは並列コンピューティングのメリットを受けるワークロードに特化しています。

人工知能アプリケーションの普及に伴い、低遅延でエネルギー効率の高い並列処理によりAIやML固有のタスクを処理するために、CPUやGPUを補完するためにさらに特殊なNPUを導入するのが最適です。