AIインフラの設計単位がサーバーからラックやデータセンター全体へ拡大

SK hynixの発表によると、AI技術の発展に伴い、インフラの設計単位は個別のサーバーからラック単位、さらにはデータセンター全体へと拡張する傾向にあります。大規模な学習や推論には多数のアクセラレータを緊密に接続する必要があり、電力や冷却まで統合する「Rack-scale System」が代表的なモデルとして浮上しています。

AI技術の発展が加速する中で、AIインフラに対する視点が根本的に変化している。かつては個別のAIアクセラレータやサーバーの性能に焦点が当てられていたが、現在は演算、メモリ、ストレージ、ネットワーク、電力、冷却が一つの有機体のように連動する、システム全体の設計が核心的な課題となっている。

SK hynixが発表した「AI Infrastructure Insight」によると、AIインフラの設計単位は個別のサーバーを超え、ラック（Rack）単位、さらにはデータセンター全体へと拡張する傾向にある。大規模なAI学習や推論を実行するには単一のアクセラレータだけでは限界があり、数多くのアクセラレータを緊密に接続して作業を分散処理する必要があるためだ。これに伴い、ラック内のリソースを一つの構造としてまとめて管理する「Rack-scale System」が代表的な設計モデルとして浮上している。

サーバーからラックへ、設計範囲が広がるAIインフラ

Rack-scale Systemは、CPU、GPU、メモリ、ネットワークに加え、電力や冷却条件までもラック単位で統合して設計する方式である。ラックは単にサーバーを収容する空間ではなく、データの移動や電力供給、熱管理までを統合的に扱うシステム単位へと進化している。

設計範囲の拡大により、考慮すべき変数も複雑化した。AIクラスターの規模が大きくなるほど、ラック間の通信効率が全体の性能を決定づける重要な要素となる。ラックの物理的な配置や接続距離、ネットワーク構造によってデータ転送の遅延が発生する可能性があり、高密度ラックから発生する膨大な熱を処理するために、設計段階から冷却設備やデータセンターの物理構造を適合させる必要がある。安定した電力供給のための配分構造も、不可欠な設計要素となっている。

特に、どのような作業を行うかによってインフラの形態は完全に異なる。大規模モデルの学習では、高いスループットとメモリ帯域幅、アクセラレータ間の高速な接続が核心となる一方、推論段階では低遅延と電力・コスト効率が優先される。最近注目を集める「Agentic AI」のように、ユーザーの目標達成のために連続的に推論し、外部ツールへ繰り返しアクセスするワークロードが増えるにつれ、メモリ、ストレージ、ネットワーク間を移動するデータフローを管理する能力が性能の変数となる。

「事後的な組み合わせ」から「共同設計」へのパラダイムシフト

インフラを構成する技術が互いに緊密に接続されるようになり、従来の「事後的な接続」方式は限界に直面している。個々の構成要素をそれぞれ設計した後に最終段階で統合する方式では、高密度なAIシステムの要求を満たすことが困難だからだ。これを受け、コンピューティングプラットフォームとデータセンターインフラの条件を開発の初期段階から共に考慮する「共同設計（Co-design）」方式が広がっている。

共同設計の範囲は、今や電力や冷却といった物理的なインフラ領域まで含まれる。高密度AIシステムにおいては、液冷や熱管理方式がコンピューティングシステムの要求条件に直結するためである。こうした流れは産業全体における標準化の議論にもつながっている。グローバルな協力コミュニティであるOCP（Open Compute Project）を中心に、次世代データセンターの電力構造やインターフェースを標準化しようとする動きが見られるためだ。

標準化が相互互換性のための基盤を築く一方で、各企業はその標準に基づいて顧客に合わせた最適化を進める。メモリ分野では、JEDEC（国際標準化機構）が定めた基本規格に基づきつつ、特定のシステムの要求に応じた高度な最適化作業が並行して行われる。

HBMなどメモリ企業の役割、「顧客ロードマップへの早期参画」へ拡大

設計方式の変化は、メモリ企業の役割と協業モデルを根本から変えつつある。アクセラレータが処理するデータの規模と速度が増大するにつれ、メモリに求められる帯域幅、容量、発熱条件がシステムごとに異なるものとなっているためだ。これに伴い、プラットフォームの構想段階からメモリ仕様を共に決定する方式が増えている。

代表的な事例がHBM（高帯域幅メモリ）である。次世代HBMでは、積層されたDRAMチップの下でデータ入出出を担う「ベースダイ（Base Die）」を中心に、顧客システムの要求を直接反映させる「カスタムHBM」の議論が本格化している。これは、メモリが単に汎用製品を供給する段階を超え、顧客のシステム設計に深く関与するパートナーへと進化していることを意味する。

SK hynixはこうした変化に合わせ、顧客の次世代AIシステム開発プロセスに初期段階から参画する戦略をとっている。顧客のシステムロードマップを先制的に把握し、それに合わせて必要なメモリ条件を共に定義する方式だ。結局のところ、未来のAIインフラ競争は個別の部品の性能を超え、システム全体の構造をいかに精緻に調整し、顧客の設計方向に迅速に対応できるかで決まる見通しである。

出典：news.skhynix.co.kr