决定AI性能的不是运算速度而是“数据移动”……基础设施重新设计正在加速

人工智能（AI）时代的性能竞争标准正从运算能力向数据管理能力转移。随着大语言模型（LLM）和智能体AI（Agentic AI）的扩散，如何高效地存储海量数据并将其传输至运算设备，已成为决定系统成本与性能的核心变量。

根据SK hynix公开的“AI生态系统”系列报告，当前AI产业的焦点正从模型开发阶段转向大规模服务运营阶段。随着推理阶段（用户请求重复发生的阶段）的比重超过预训练阶段，随着问题变长且上下文变得复杂，需要处理的数据规模呈几何级数增长。因此，将运算设备、内存、存储、网络作为一个系统进行共同设计，以最小化数据移动的“基础设施重新设计”已成为必然。

数据移动成本比运算高出2,000倍

现有的计算系统是以处理器（运算设备）为中心设计的。其结构是数据经过存储和内存移动到运算设备，然后再次返回的过程不断重复。虽然过去一直通过缓存层或乱序执行（Out-of-Order Execution）等技术来缓解这种延迟，但在AI工作负载激增面前，其局限性显而易见。

在现代系统中，数据移动产生的成本远高于运算本身。从DRAM中读取一次数据所消耗的能量，可能是简单算术运算的150至2,000倍。在利用Google神经网络模型进行的实际研究中也显示，大型机器学习模型的系统能量中有90%以上并非消耗在运算上，而是消耗在内存访问和数据移动上。

特别是LLM在生成每个标记时，由于需要参考之前的上下文，涉及Key-Value Cache管理和注意力运算，导致内存容量和带宽需求急剧上升。即使运算设备再快，如果数据不能及时到达，整个系统的效率也会骤降。

CXL与NVLink：拓宽数据通道的高速互连技术

为了解决数据移动瓶颈，“内存中心计算（Memory-Centric Computing）”正作为替代方案脱颖而出。这是一种脱离了将数据带到运算设备的传统方式，转而以数据的位置和移动成本作为设计标准，在内存附近执行运算或优化内存布局的方法。

在此过程中，拓宽设备间数据通道的高速互连技术发挥着核心作用。CXL（Compute Express Link）扩展了CPU、AI加速器与内存设备之间的连接，能够灵活增加内存容量，并为多个设备共享内存提供“内存池化”基础。另一方面，NVLink和NVSwitch则专注于在GPU集群内部实现GPU间大规模数据的快速交换，以减少瓶颈。虽然两者领域不同，但通过减少数据移动来提高系统资源效率的目标是一致的。

在数据附近直接处理的“近内存加速器”

如果仅提高连接速度还不够，则需要一种直接在数据所在地执行运算的方式。这被称为“互连近内存加速器结构”。这种方式不再由中央的GPU或NPU拉取所有数据，而是由部署在内存周围的加速器直接处理数据，并仅将必要的结果与中央设备进行交换。

这种结构的效用正通过学术研究得到证实。在过去的Tesseract设计案例中，通过高速互连将近内存加速器连接起来进行并行图处理时，与传统的以处理器为中心的设计相比，实现了约10倍的性能提升以及同等水平的节能效果。

最近，针对LLM推理优化的研究也在不断进行。基于CXL的CENT设计结合了内存扩展结构与近内存处理，大幅降低了大规模推理基础设施的内存容量及带宽负担。最终，未来的AI基础设施将超越特定部件的速度竞争，其成败将取决于如何智能地配置和连接数据与运算设备。

来源：news.skhynix.co.kr