“可能需要1万倍内存”……Exynos CEO Kim Jin-young诊断AI时代的内存瓶颈

随着人工智能（AI）时代的正式开启，由于数据处理量和模型规模呈指数级增长，内存需求正在爆发式增长。特别是随着AI生成的数据增加，以及为了维持对话上下文而产生的内存需求增大，有警告称，仅靠现有方式很难解决内存瓶颈问题。

根据在YouTube频道“Understanding：世间所有知识”上公开的视频，半导体初创公司Exynos的CEO Kim Jin-young诊断认为，内存处于AI基础设施的核心。Kim代表解释说：“AI是人类从积累的数据中寻找价值的工具”，“因为需要积累更多的数据并进行运算才能赚钱，所以需要支撑这一点的巨大基础设施投资，而其核心就是内存。”

模型·用户·上下文激增……“内存需求可能增加1万倍”

Kim代表提出了AI时代内存需求爆发的四个核心要素：▲AI模型尺寸的扩大 ▲用户数量的增加 ▲输入数据（上下文）长度的指数级增加 ▲多个模型协作的“Agentic AI”时代的到来。由于这些要素并非各自独立增加，而是以相互相乘的方式作用，因此内存需求量不是算术级数增长，而是呈几何级数增长。

特别是Kim代表表示：“AI的设计结构是必须将为了获得一个答案而产生的中间阶段结果不断堆积在内存中”，“过去只需要记住人类输入的内容，但现在AI给出的回答及其上下文也必须全部记住，因此需要更多的内存。”他引用了过去专家的观点并展望称：“虽然有人说可能需要多出1,000倍左右的内存，但考虑到目前的发展速度，1,000倍可能也是一个保守的数值。”

这种需求激增直接导致了“Key-Value Cache”技术的重要性。Key-Value Cache是一种为了让GPU不必每次重复相同的运算，而将之前的运算结果存储在内存中以便重复使用的技术。Kim代表解释说：“由于GPU运算非常昂贵且耗时，将计算过一次的内容存储在内存中进行参考是非常高效的”，“对话越长，需要的Key-Value Cache就越多，这直接关系到内存容量的压力。”实际上，随着与用户的对话变长，为了记住之前内容而需要的Key-Value Cache引用量也会增加，这成为了决定基础设施效率的核心要素。

通过基于CXL的“Memory Pooling”将云效率提高两倍

目前AI基础设施的核心解决方案HBM（高带宽内存）是一种通过将GPU与内存物理上靠近放置来最大化数据传输速度（带宽）的技术。但由于HBM必须放入与GPU芯片相同的封装内，因此在无限增加容量方面存在限制。作为应对这一问题的备受关注的技术正是CXL（Compute Express Link）。

CXL是将CPU、GPU等各种设备连接在一起的下一代连接标准。Exynos主攻的技术是利用CXL让多个服务器像使用一个公共空间一样共享内存的“Memory Pooling”技术。根据视频显示，现有云环境的内存利用率平均停留在35%左右。如果应用Exynos的技术，可以将这一利用率提高到接近两倍。

Kim 代表解释说：“通过让需要的服务器直接访问共享内存，而无需复制并移动数据，可以用一半的资本支出（CAPEX）确保相同的性能。”由于支持 CXL 3.0 的 CPU 及相关产品预计将于今年年底或明年年初上市，预计市场将进入全面开花阶段。

最小化数据移动的智能内存芯片“MX1”战略

Exynos不仅在扩展内存容量方面发力，还并行实施减少数据移动量本身的战略。其核心是在内存附近仅筛选出需要的数据并执行简单运算的智能内存芯片“MX1”。

现有方式必须将大量数据逐一搬运到运算装置（GPU等），但利用MX1可以在内存端进行初步的数据处理。其构想是通过此举缓解整个基础设施的数据瓶颈并提高效率。Kim代表表示，公司目前正专注于能够立即解决当前数据中心面临的最大瓶颈的技术。