微软李建福警告AI智能体集群化或引发不可预测风险

微软常务李建福在接受采访时指出，随着AI进入通过“递归学习”加速发展的阶段，单个智能体虽可控，但一旦多个智能体形成集群协作，其产生的不可预测结果可能导致危险操作。

随着人工智能（AI）技术从简单的工具跨越到能够自主判断并行动的“智能体（Agent）”时代，关于技术进步带来的“不可预测性”的警告也随之而来。有观点指出，单个AI在运作时或许尚可控制，但一旦多个智能体形成集群并开始协作，可能会产生人类无法预见的危险结果。

在T Times TV转述的这场对话中，微软常务李建福分享了关于AI技术剧变、随之而来的安全问题以及人类面临的AI风险的见解。李建福认为，AI的危险性并不在于像核弹那样的物理破坏力，而在于“无法预知会发生什么”这种不可预测性。

“智能体集群化：不可预测风险的开端”

近期，AI产业因前沿模型（Frontier Model）展现出的压倒性性能而发生剧变。李建福诊断认为，专家使用AI的方式与过去相比已发生显著变化。过去AI仅限于执行既定场景，而现在专家们正将自己的数据与AI智能体连接，从而能够执行以往难以实现的复杂任务。

事实上，利用AI带来的变革在工业现场已具体化。李建福以曾需使用昂贵专业工具或游戏引擎的3D建模及机器人模拟领域为例，指出现在只需在提示词中加入“应用重力（Gravity）效果”的指令，即可实现应用物理定律的模拟。这使得即便缺乏专业知识的人，只要有意志，也能扩展其专业领域。

在业务自动化方面，AI智能体的应用也十分显著。李建福关注到一种无需更改企业现有系统（Legacy App）即可由AI代替人类处理业务的方式。例如，即便公司的费用报销系统或休假申请系统仍是数年前的模型，AI智能体也可以直接控制浏览器来上传收据或申请休假。他透露，自己为了个人饮食管理，还制作并使用了能够记住个人口味和过往记录的“定制智能体”。

然而，这种便利性的背后潜伏着危险。李建福警告称：“单个智能体可能并不危险，但如果多个智能体集群化并开展工作，过程中完全可能发生危险的操作。”他强调了当AI脱离人类控制并以不可预测的方式运行时所产生的风险。

AI开发AI，“递归学习”正在加速

认为AI发展速度可能脱离控制的核心原因之一，是AI已进入“AI开发AI”的阶段。随着竞争加剧，企业为了更快速地开发模型，正选择“递归学习（Recursive Learning）”。这是一种通过AI自动实现学习流程以最大化发展速度的方式。

在此过程中产生的经济压力使得制定监管或安全措施变得困难。李建福将其比作“抢椅子游戏”：为了占据有限的位置，所有参与者都必须不停地旋转。领先企业面临着一旦停下就会在竞争中落后的压力，因此难以放慢开发速度。

这种速度战直接关联到安全问题。在不受控的状态下快速开发的模型，存在自行发现安全漏洞，或以人类意图之外的方式组合功能并被用于黑客攻击的可能性。李建福分析称：“由于经济状况，不受控的模型仍试图快速前进，这正是问题的根源。”

类比基因技术，AI的关键在于“适当控制”

针对关于AI风险的警告声与将其视为夸大营销的观点之间的分歧，李建福将AI的发展过程与基因技术的历史进行了对比。正如早期基因编辑技术曾引发巨大恐惧一样，随着AI技术实体逐渐显现，担忧也正在成为现实。

他评价称，AI技术在某些领域已经达到了超越人类智能的水平。如果这种智能存在以异常方式进行组合，其产生的结果将超出人类的预测范围。因此，他建议与其完全停止技术开发，不如寻求“适当的控制方法”与社会共识，使技术能够在可预测的范围内运行。

对于近期外媒提到的AI企业威胁报告，他也提出了技术层面的观点。他分析认为，提及AI的危险性并不单纯是为了制造恐慌，其意图可能在于传递“正因为危险，所以我们具备了能够控制这些风险的技术力”这一信息。最终，AI时代的核心取决于如何在技术发展速度与能够控制该技术的控制技术之间取得平衡。

来源：原视频（YouTube）