AI性能を決めるのは演算速度ではなく「データ移動」…メモリ中心のインフラへパラダイムシフト

人工知能（AI）時代の性能競争の基準が、単純な演算速度から「データ移動の効率性」へと移行している。膨大なデータをいかに少なく、そして効率的に移動させるかが、AIシステムの全体性能とコストを決定する核心要素として浮上したからである。

演算よりもデータ移動にかかるコストの方が大きい「ボトルネック」

現在のコンピューティングシステムは、プロセッサが中心となってデータを持ち寄って処理する構造だ。データがストレージとメモリ、キャッシュを経て演算装置へと移動し、再び戻ってくる過程を繰り返す。しかし、AIワークロードが高度化するにつれ、このようなプロセッサ中心の構造は限界に直面している。データの規模とアクセス頻度が急増することで、データ移動の過程で発生する遅延時間と電力消費、ハードウェアコストが、システムの効率を阻害する決定的な要因となっているからだ。

実際に現代のコンピューティング環境では、演算そのものよりもメモリへのアクセスとデータ移動に、はるかに大きなコストが発生する。DRAMからデータを一度読み出すのにかかるエネルギーは、単純な算術演算よりも少なくとも150倍から最大2,000倍まで大きくなり得る。特に大規模言語モデル（LLM）の場合、各トークンを生成するたびに以前の文脈を参照しなければならない特性上、メモリ容量と帯域幅に対する要求が急激に高まり、メモリボトルネックがさらに深刻化する。これに伴い、AIインフラ競争の焦点は、より速い演算装置を確保することを超え、演算装置とメモリ、ストレージ、ネットワークを一つのシステムとして共同設計し、データ移動を最小化する方向へと進んでいる。

CXLとNVLink、メモリ拡張と高速通信をつなぐ架け橋

データ移動のボトルネックを解決するために登場した核心技術は、高速インターコネクト（Interconnect）だ。これはデバイス間の通路を広げ、ワークロードに合わせてメモリと演算装置を柔軟に接続する役割を果たす。代表的な技術としては、CXL（Compute Express Link）とNVLink/NVSwitchが挙げられる。

CXLは、プロセッサ、アクセラレータ、メモリデバイス間の接続を拡張してメモリ容量を柔軟に増やし、複数のデバイスがメモリを共有できる「メモリプーリング」の基盤を提供する。一方、NVLinkとNVSwitchは、GPUクラスター内部の高帯域幅接続を担当し、大規模なAIモデルが複数のGPU間を行き来する際に発生するデータボトルネックを減らすことに集中する。これら二つの技術は適用領域は異なるが、データ移動の過程を改善してシステムリソースを効率的に活用するという共通の目的を持っている。このような技術的土台が整えば、メモリとアクセラレータは特定のデバイスに依存する部品ではなく、ワークロードに応じて自由に組み合わせ可能なシステムリソースとして機能することになる。

メモリ付近で直接処理する「近接メモリアクセラレータ」の浮上

接続速度を高めるだけでは不十分な限界を克服するために、データを演算装置に持ち込む代わりに、メモリの近くで直接処理する「近接メモリアクセラレーション」方式が注目を集めている。これは、中央演算装置（GPU/NPU/TPU）がすべてのデータを処理する代わりに、メモリ周辺のアクセラレータが担当する作業を分担して実行し、必要な結果だけをやり取りする「相互接続された近接メモリアクセラレータ構造」を目指している。

このような方式は、HBM（高帯域幅メモリ）のような3D積層メモリ環境において、データの往復を減らして遅延時間と電力消費を低減するのに効果的だ。関連する研究事例である「Tesseract」の設計によれば、複数の近接メモリアクセラレータを高速インターコネクトで接続して並列グラフ処理に適用した際、従来のプロセッサ中心の設計と比較して約10倍レベルの性能改善と、同程度のエネルギー削減効果を得られたことが示された。最近では、LLMの推論を標的にしてメモリ拡張構造と近接メモリ処理を結合したCENTの設計研究など、データ移動を革新的に減らすための多様な試みが続いている。