AIの性能を決めるのは演算速度ではなく「データ移動」…インフラ再設計が加速

人工知能（AI）時代の性能競争の基準が、演算能力からデータ管理能力へと移行している。大規模言語モデル（LLM）やエージェンティックAI（Agentic AI）が拡散するにつれ、膨大なデータをいかに効率的に保存し、演算装置へと伝達するかが、システムのコストと性能を決定する核心的な変数として浮上している。

SK hynixが公開した「AIエコシステム」シリーズによると、現在のAI産業の焦点は、モデル開発段階から大規模サービスを運用する段階へと移っている。事前学習よりもユーザーの要求が繰り返される推論段階の比重が大きくなるにつれ、質問が長くなり文脈が複雑になるほど、処理すべきデータの規模は幾何級数的に増大する。これに伴い、演算装置、メモリ、ストレージ、ネットワークを一つのシステムとして共同設計し、データ移動を最小化する「インフラ再設計」が必須となった。

演算よりも2,000倍多くかかるデータ移動コスト

既存のコンピューティングシステムは、プロセッサー（演算装置）を中心に設計されている。データがストレージとメモリを経て演算装置へと移動し、再び戻ってくる過程を繰り返す構造だ。これまではキャッシュ階層や非順序実行（Out-of-Order Execution）のような技術でこの遅延を緩和してきたが、AIワークロードの爆発的な増加の前では限界が明白である。

現代のシステムにおいて、データ移動は演算そのものよりもはるかに大きなコストを発生させる。DRAMからデータを一度読み出すのにかかるエネルギーは、単純な算術演算よりも少なくは150倍、多くは2,000倍まで大きくなり得る。実際のGoogleのニューラルネットワークモデルを活用した研究でも、大型機械学習モデルのシステムエネルギーの90%以上が、演算ではなくメモリへのアクセスとデータ移動に消費されることが示された。

特にLLMは、トークンを生成するたびに以前の文脈を参照しなければならないKVキャッシュ（Key-Value Cache）管理とアテンション演算のため、メモリ容量と帯域幅の要求量が急激に上昇する。演算装置がいかに速くても、データが適切なタイミングで到着できなければ、システム全体の効率は急落する構造だ。

CXLとNVLink、データ通路を広げる高速インターコネクト

データ移動のボトルネックを解決するために、「メモリ中心コンピューティング（Memory-Centric Computing）」が代替案として浮上している。これは、データを演算装置に持ってくる既存の方式から脱却し、データの位置と移動コストを設計基準とし、メモリの近くで演算を実行したり、メモリ配置を最適化したりするアプローチである。

この過程において、装置間のデータ通路を広げる高速インターコネクト技術が核心的な役割を果たす。CXL（Compute Express Link）は、CPU、AIアクセラレータ、メモリ装置の間の接続を拡張してメモリ容量を柔軟に増やし、複数の装置がメモリを共有できる「メモリプーリング」の基盤を提供する。一方、NVLinkとNVSwitchは、GPUクラスター内部でGPU間の大規模データを高速にやり取りし、ボトルネックを減らすことに集中する。両技術は領域は異なるが、データ移動を減らしてシステム資源を効率化するという目標は同一である。

データの近くで直接処理する「近接メモリアクセラレータ」

接続速度を高めるだけでは不十分な場合、いっそデータがある場所で演算を実行する方式が必要となる。これを「相互接続された近接メモリアクセラレータ構造」と呼ぶ。中央のGPUやNPUがすべてのデータを引き寄せる代わりに、メモリ周辺に配置されたアクセラレータがデータを直接処理し、必要な結果だけを中央装置とやり取りする方式だ。

このような構造の有用性は、学術研究を通じて立証されている。過去のTesseract設計事例では、近接メモリアクセラレータを高速インターコネクトで接続して並列グラフ処理を実行した際、既存のプロセッサー中心設計と比較して約10倍の性能改善と、同水準のエネルギー削減効果を得たことがある。

最近では、LLM推論に最適化された研究も続いている。CXLベースのCENT設計は、メモリ拡張構造と近接メモリ処理を結合し、大規模推論インフラのメモリ容量および帯域幅の負担を画期的に低減させた。結局、未来のAIインフラは、特定の部品の速度競争を超え、データと演算装置をいかに知能的に配置し、接続するかにかかって成否が決まる見通しだ。

出典：news.skhynix.co.kr