NPUとは何ですか?CPUやGPUとはどのように違いますか?
NPUとは?
ニューラル・プロセッシング・ユニット(NPU)は、人工知能(AI)および機械学習(ML)のワークロード向けに構築された特殊なハードウェアアクセラレータの一種です。AIアクセラレータやディープラーニングプロセッサとも呼ばれます。NPUは、ニューラルネットワークの推論、トレーニング、およびマシンビジョンタスクを対象としています。スタンドアロンのチップ、システムオンチップ(SoC)内の専用ブロック、またはCPUやGPU内の集積ロジックユニットとして実装されます。
NPUアーキテクチャは、ディープラーニングの数学的処理、すなわちテンソル演算、大規模行列乗算、畳み込み、要素ごとの活性化関数に最適化されています。これらのタスクにおいて、汎用プロセッサよりもはるかに高いスループットと大幅に低い消費電力を実現します。設計上の特徴には、マルチコアまたは空間アレイ、低精度演算(INT4、INT8、FP8、FP16)、データフロー実行モデル、メモリと計算間のデータ移動を最小限に抑えるインメモリコンピューティングなどがあります。
コンシューマー側では、AppleのMシリーズおよびAシリーズチップに搭載されたNeural Engine、SnapdragonのQualcomm Hexagon NPU、Samsungの自社開発NPU、HuaweiのDa Vinciアーキテクチャ、Google PixelデバイスのTensor Processing Unitがすべてこの説明に該当します。IntelのMeteor Lakeプロセッサ(2023年)は、もともとVision Processing Unitとして構想されたIntel AI Boostというブランド名の専用NPUを導入しました。データセンターの例としては、GoogleのクラウドTPUポッド、AWS TrainiumおよびInferentia、NVIDIAおよびAMD GPU内部の専用マトリックスアクセラレータが挙げられます。ほとんどすべての最新GPUシリコンは、低精度マトリックスエンジンにダイ面積を割り当てていますが、NPUという呼称は、ニューラルネットワーク計算を中心にゼロから構築されたハードウェアにのみ使用されます。
NPUはCPUやGPUとどう違うのか?
中央処理装置(CPU)はゼネラリストです。少数の高性能コア、高度な制御ロジック、深いキャッシュ階層、シリアルでレイテンシに敏感なタスク向けに設計された広いレジスタファイルを備えています。CPUは高精度演算(FP64、FP32)と高速コンテキストスイッチングをサポートします。オペレーティングシステムのコードからスプレッドシートまであらゆる処理を担当しますが、数千のデータポイントに対して同じ単純な計算を同時に実行するのは非効率的です。
グラフィックス処理装置(GPU)は並列ワーカーです。Single Instruction Multiple Data(SIMD)モデルの下で大規模なスループットを実現するために編成された、数百から数千の小型計算ユニットを搭載しています。GPUは、グラフィックスシェーディング、科学シミュレーション、ディープラーニングで使用される行列乗算に優れています。最新のGPUには、低精度の乗算累積演算を高速化するテンソルコア(NVIDIA)またはマトリックスコア(AMD)が含まれており、NPUとの境界があいまいになっています。ただし、GPUはグラフィックスパイプラインと汎用並列カーネルもサポートする必要があるため、純粋なAIワークロードでは専用NPUと比較して大幅に多くの電力を消費します。
NPUはスペシャリストです。その実行ユニット、データパス、メモリは、ニューラルネットワークのデータフローのためだけに設計されています。一般的な設計パターンには、中間結果を外部メモリに移動せずに毎サイクル数千の値を乗算・累積するシストリックアレイや空間計算ファブリックがあります。この特化により、AI推論において、ワットあたりの性能が格段に向上します。例えるならば、CPUは繊細な手術を次々と行う少数の熟練外科医チーム、GPUは同時に数字をコピーする巨大な事務員の軍隊、NPUは一つの製品を猛烈な速度で生産する専用設計の組み立てラインです。
Vision Processing Unit(VPU)はNPUのサブセットであり、畳み込みニューラルネットワークやスケール不変特徴変換(SIFT)などのマシンビジョンアルゴリズムを特に目的としています。VPUは、拡張現実(AR)ヘッドセット、スマートカメラ、ドローンに搭載されています。NPUのプログラミングは、TensorFlow Lite/RT(Android)、CoreML(Apple)、DirectML(Windows)、ONNX交換形式などの高レベルフレームワークに依存しています。Intel OpenVINO、Qualcomm SNPE、AMD Ryzen AI、Apple CoreMLなどのベンダー固有APIは、低レベルの制御を公開しています。GPUはAIにCUDA、OpenCL、Vulkanを使用しますが、これは柔軟性が高い一方で、開発者の労力とエネルギーがより多く必要です。
TOPSとは何か、NPUの性能はどのように測定されるのか?
TOPSはTrillions of Operations Per Second(1秒あたりの演算回数、単位は兆)の略です。これはAIアクセラレータの性能を示す最もシンプルなヘッドライン指標です。1回の「演算」は、ほとんどの場合、行列乗算の中心となる融合乗算加算である乗算累積(MAC)を指します。この数値は通常INT8またはFP16の特定の精度で報告されます。これは、より低ビットの精度では大きく異なる数値が提示される可能性があるためです。例えば、AppleのM4 Neural Engineは38 TOPS(INT8)、QualcommのSnapdragon X Eliteは45 TOPS、Intel Meteor LakeのNPUは最大11.5 TOPS、NVIDIA H100 GPUは3,900 TOPS以上(INT8、スパーシティ利用時)に達します。
TOPSは理論上のピーク値です。持続性能は、モデルアーキテクチャ、メモリ帯域幅、ソフトウェアランタイムの効率、構造的スパーシティのサポートに依存します。同じTOPS定格の2つのアクセラレータでも、実際のアプリケーションでは推論速度が著しく異なる場合があります。MLPerfなどのベンチマークスイートは、これらの要因を考慮した標準化された測定を提供します。NPUを比較する際は、実際に使用するモデルの精度でのTOPSを確認してください。多くのオンデバイス推論ワークロードでは、メモリと電力を削減するためにINT8を使用するため、INT8 TOPSが最も関連性の高いコンシューマー向けの数値です。
日常のデバイスでNPUは何に使われているのか?
NPUは、CPUやGPUでは遅く動作したりバッテリーを消耗したりする特定のAIワークロードを高速化します。スマートフォンでは、Appleは2017年にA11 BionicチップでNeural Engineを導入しました。この専用ブロックは、Face ID認識、アニ文字トラッキング、Smart HDRやDeep Fusionなどのコンピュテーショナルフォトグラフィータスクを処理します。カメラアプリのシーン検出は、シャッターが切られる前に、物体、ペット、食べ物、風景をリアルタイムで識別して露出と色を調整します。Siriの音声認識は、インターネット接続がない場合でも完全にデバイス上で実行され、同じローカル処理が翻訳アプリのリアルタイム翻訳を支えています。拡張現実アプリケーションは、Neural Engineを使用して平面や物体をジャダーなくトラッキングし、ユーザーが電話を動かしても仮想オーバーレイを安定に保ちます。
QualcommはHexagon NPUをSnapdragonプラットフォームに統合しています。Hexagonブロック内のテンソルアクセラレータは、常時オンの音声アシスタント、エコーキャンセレーション、通話中のノイズ抑制を実行します。SamsungのExynosチップには、同様のワークロード(カメラのシーン最適化、安全な顔認証や虹彩認証、オフラインでのBixby音声コマンド)用の専用NPUが含まれています。GoogleのTensorチップには、もともとデータセンターの設計から派生したカスタムTPUコア(Tensor Processing Unit)が搭載されています。このコアは、オンデバイスのLive Caption、クラウドなしでのRecorderアプリの文字起こし、Google PhotosのMagic Eraserを支えています。これらすべての例に共通する点があります。NPUは、かつてモバイルプロセッサには重すぎたディープラーニングモデルを処理し、同じタスクにGPUが必要とする電力の数分の一の消費でそれを実現します。
ノートパソコンでは、NPUがビデオ会議やクリエイティブワークフローに使用されています。IntelのMeteor Lakeプロセッサには、AI Boostというブランド名のNPUが含まれています。Windowsノートパソコンでは、このユニットがWindows Studio Effects(自動背景ぼかし、ユーザーがカメラを見ているように見えるように視線を調整するアイコンタクト補正、騒がしい部屋でも話者の声を分離する音響エコーキャンセレーション)を処理します。Ryzen 7040シリーズ以降に組み込まれているAMD Ryzen AIも同様の機能を実行します。ビデオ編集ソフトウェアは、CPUやGPUを最大限に使用することなく、シーン検出(映像をBロール、インタビュー、アクションクリップに分類)にNPUを活用します。Adobe Premiere ProとDaVinci Resolveは、オブジェクト除去やスタイル転送などの特定のAIフィルターをNPUにオフロードし、タイムラインの応答性を維持します。これらのノートパソコンは、開発者が異なるフレームワークとハードウェアアクセラレータ間でモデルを交換できるオープンフォーマットであるONNXもサポートしており、Intel、AMD、QualcommのNPUが同じトレーニング済みニューラルネットワークを実行しやすくしています。
スマートフォンやノートパソコンにNPUが搭載されるようになった理由は?
主な理由は、レイテンシ、プライバシー、バッテリー寿命です。リモートサーバーでAIモデルを実行すると、往復時間が追加され、リアルタイム機能のユーザーエクスペリエンスが低下します。顔認証ロック解除は、認識のたびにサーバーリクエストが必要だと、もたつきを感じるでしょう。NPUでのローカル処理はその遅延を排除します。プライバシーコンプライアンスももう一つの推進要因です。音声を完全にデバイス上で処理する音声アシスタントは、録音をクラウドに送信しないため、より厳しいデータ保護規則とユーザーの期待に応えます。バッテリー寿命が改善されるのは、専用NPUが同じ性能レベルでCPUやGPUの10倍から20倍のエネルギー効率でニューラルネットワークを実行できるためです。GPUはグラフィックス用に設計された数百のコアを持つ並列プロセッサであり、ニューラルネットワーク推論の基盤である行列乗算を実行できますが、低精度整数演算に特化した固定機能の乗算累積ユニットのアレイのエネルギー効率には及びません。NPUのアーキテクチャは、シストリックアレイとスパーシティ活用により、推論あたりマイクロワットの消費で動作し、充電間隔を延ばします。
測定可能なベンチマークとしてTOPS(Tera Operations Per Second)があります。これは整数推論スループットを測定します。MicrosoftのCopilot+ PC仕様では、少なくとも40 TOPSのNPUが要求されています。この要件を満たす最初のノートパソコンの波(Qualcomm Snapdragon X Elite、AMD Ryzen AI 300シリーズ、Intel Lunar Lakeを使用)は、業界がNPUをオプションではなく必須として扱うようになったことを示しています。NPUは、ヘテロジニアスシステムアーキテクチャ(HSA)において、CPUとGPUに並ぶ第三の柱となります。OpenGLとVulkanの背後にあるコンソーシアムであるKhronos Groupは、2025年に統一されたNNEF(Neural Network Exchange Format)コンシューマー標準のリリースを目指してAI APIの標準化を進めています。標準化により、任意のアプリケーションが推論を要求し、ドライバが開発者の介入なしにNPU、GPU、CPUのうち最も適切なプロセッサにスケジュールできるようになります。この抽象化レイヤーは、各ベンダーのシリコンに合わせてモデルを手動最適化する負担を取り除くため、ノートパソコンとスマートフォンにとって重要であり、エコシステム全体での新しいオンデバイスAI機能の展開を加速します。
参照: Wikipedia
