AI基础设施设计转向机架级协同设计

SK hynix发布的报告指出，AI基础设施设计正从单一服务器转向机架级系统，通过在开发初期进行协同设计，将内存、网络、电力及冷却系统进行整体优化。

AI技术竞争的核心轴正从单个加速器或模型的性能，扩展到支撑这些技术的整体基础设施的设计与运营。这是因为，仅仅确保拥有快速的运算装置是不够的，内存带宽、网络、存储以及维持运行所需的电力和冷却系统必须作为一个有机结构紧密结合，AI才能在实际工业现场运行。

根据SK hynix发布的《AI Infrastructure Insight》，下一代AI基础设施设计的核心在于“协同设计（Co-design）”，即不再局限于单个服务器单位，而是将机架（Rack）或整个数据中心视为一个整体进行所有要素的优化。这种方式是在开发初期阶段就考虑到不同技术或系统的需求条件，从而从整个系统的视角进行优化。

设计范围从服务器扩大至机架单位

AI基础设施的设计单位正迅速从传统的单个服务器向“机架级系统（Rack-scale System）”转移。由于大规模AI训练和推理无法仅靠单个加速器或服务器完成，必须由众多加速器紧密连接并分担任务。因此，业界正在引入将机架内部的多个服务器与加速器通过高速互连技术连接，并从内存配置到电力及冷却条件在机架层面进行集成设计的模式。

设计的范围不仅止于此，还将扩展到整个数据中心。随着AI集群规模的扩大，机架间的通信效率和物理布局对系统性能具有决定性影响。机架的布局、连接距离以及网络结构决定了数据传输延迟；同时，为了处理高密度机架产生的巨大热量所需的冷却设施，以及稳定的电力分配结构，也必须与数据中心的物理结构一同进行设计。

根据工作负载特性构建定制化基础设施

基础设施设计的另一个标准是待处理“工作负载（Workload）”的性质。因为并非所有的AI任务都能应用相同的结构。对于大规模模型训练，由于需要大量加速器进行长时间的并行运算，高吞吐量、内存带宽以及加速器间的快速连接性是首要考虑因素。相比之下，在推理阶段，低延迟、数据访问速度以及电力和成本效率则是主要的设计条件。

特别是随着能够根据用户目标自主制定计划并执行任务的“代理型AI（Agentic AI）”等技术的出现，基础设施的需求条件变得更加复杂。由于代理型AI在连续的推理过程中需要反复访问外部工具和数据，如何流畅地处理在内存、存储与网络之间流动的数据，成为了决定实际性能的关键变量。

存储企业角色转变：向“定制化HBM”进化

随着基础设施各组件的紧密结合，存储企业的角色也在发生变化。过去是后期组合成品零部件的方式，而现在则趋向于在初期阶段就根据加速器的性能和电力特性，共同决定存储规格。高带宽内存（HBM）便是代表性的案例。在下一代HBM领域，围绕堆叠DRAM芯片下方的基底芯片（Base Die）来反映客户系统需求的“定制化HBM”讨论正趋于全面展开。

顺应这一趋势，存储企业正在扩大协作，通过尽早掌握客户系统的路线图，从设计阶段便参与其中，共同定义所需的存储条件。SK hynix也在加强合作，从初期阶段便参与到客户下一代AI系统的开发过程中。预估能够预先理解客户系统方向并深度参与设计的能力，将成为未来AI基础设施市场的差异化竞争点。

来源：news.skhynix.co.kr