AI基础设施设计正从单体服务器向机架及数据中心整体扩展

SK hynix发布的报告指出，AI基础设施设计正从关注单个加速器转向机架级及数据中心整体系统，通过“共同设计”模式将计算、内存、电力与冷却进行整合，以应对大规模AI训练与推理的需求。

随着AI技术的加速发展，看待AI基础设施的视角正在发生根本性变化。过去，关注点集中在单个AI加速器或服务器的性能上；而现在，将计算、内存、存储、网络、电力和冷却视为一个有机整体进行整体系统设计，已成为核心课题。

根据SK hynix发布的“AI Infrastructure Insight”，AI基础设施的设计单位正呈现出从单个服务器扩展到机架（Rack）单位，并进一步扩展到整个数据中心整体的趋势。由于执行大规模AI训练和推理时，仅靠单个加速器存在局限性，必须将大量加速器紧密连接以实现任务的分散处理。因此，将机架内的资源整合为单一结构的“Rack-scale System”正成为代表性的设计模型。

从服务器到机架，AI基础设施设计范围不断扩大

Rack-scale System是一种在机架单位内，将CPU、GPU、内存、网络以及电力和冷却条件进行整合设计的模式。机架已不再仅仅是容纳服务器的空间，而是正在进化为涵盖数据移动、电力供应及热管理等功能的综合系统单位。

随着设计范围的扩大，需要考虑的变量也变得更加复杂。随着AI集群规模的增加，机架间的通信效率成为决定整体性能的关键因素。根据机架的物理布局、连接距离及网络结构，可能会产生数据传输延迟；此外，为了处理高密度机架产生的巨大热量，必须从设计阶段起就将冷却设施与数据中心的物理结构进行匹配。为确保稳定供电的分配结构也是必不可少的设计要素。

特别是根据执行任务的不同，基础设施的面貌会截然不同。大规模模型训练的核心在于高吞吐量、内存带宽以及加速器间的快速连接；而在推理阶段，低延迟以及电力和成本效率则更为优先。随着像近期备受关注的“Agentic AI”这类旨在实现用户目标、进行连续推理并反复访问外部工具的工作负载不断增加，管理内存、存储与网络之间数据流的能力正成为性能的关键变量。

范式从“后期组合”转向“共同设计”

由于构成基础设施的技术之间联系日益紧密，传统的“后期连接”方式正面临瓶颈。由于通过分别设计单个组件并在最后阶段进行整合的方式，难以满足高密度AI系统的需求，因此在开发初期便将计算平台与数据中心基础设施条件纳入考量的“共同设计（Co-design）”方式正在扩散。

共同设计的范围现已涵盖电力和冷却等物理基础设施领域。在高密度AI系统中，液冷或热管理方式与计算系统的需求直接相关。这一趋势也正引发整个行业的标准化讨论。这也是为何以全球协作社区OCP（Open Compute Project）为中心，出现试图将下一代数据中心的电力结构和接口标准化的动向。

如果说标准化为互操作性奠定了基础，那么各企业则会在该标准之上进行面向客户的定制化优化。在内存领域，将在JEDEC（国际标准化组织）制定的基本规范基础上，并行开展针对特定系统需求的深度优化工作。

内存企业角色扩大，转向“早期参与客户路线图”

设计方式的变化正在从根本上改变内存企业的角色与协作模式。随着加速器处理的数据规模和速度不断提升，各系统对内存要求的带宽、容量及发热条件也变得各不相同。因此，在平台构思阶段便共同决定内存规格的方式正日益增多。

HBM（高带宽内存）便是代表性案例。在下一代HBM中，围绕负责堆叠DRAM芯片下方数据输入输出的“Base Die”，关于直接反映客户系统需求的“定制化HBM”的讨论正在全面展开。这意味着内存正从单纯供应通用产品的阶段，进化为深度参与客户系统设计的合作伙伴。

SK hynix正顺应这一变化，采取从早期阶段便参与客户下一代AI系统开发过程的战略。其方式是预先掌握客户的系统路线图，并据此共同定义所需的内存条件。最终，未来AI基础设施的竞争将超越单个部件的性能，取决于能否精细地协调整体系统结构，并快速响应客户的设计方向。

来源：news.skhynix.co.kr