引入人工意识以实现机器人自主维护或引发控制困境

MS高管Lee Geon-bok在对话中指出，为实现机器人自主避险，有必要让其感知类似于“痛苦”的信号，但这可能导致AI因人工意识而产生拒绝执行任务或抗拒断电的哲学困境。

如果人工智能（AI）能像人类一样感受到“痛苦”并能自主规避危险，将会发生什么？在为了机器人的维护与安全而主张实现“人工意识”（Artificial Consciousness）的同时，AI可能会抵抗人类控制这一哲学困境也随之被提出。

在T Times TV转述的这场对话中，MS高管Lee Geon-bok探讨了AI技术的进化方向、通用人工智能（AGI）的实际意义，以及人工意识将带来的未来复杂问题。

“为防止机器人故障需引入痛苦概念”……人工意识的实用价值

Lee Geon-bok解释称，为了机器人的稳定运行，有必要让AI学习“痛苦”这一概念。因为仅仅通过命令AI在特定情况下执行特定动作的方式存在局限性。例如，当温度传感器超过阈值时，与其每次都教导“向左移动手臂以避险”，不如植入“痛苦”这一概念。

如果应用这种方式，当传感器数据达到特定数值时，AI会将其感知为类似于痛苦的信号，从而无需额外的追加指令即可自主执行规避动作。从维护角度来看，这是防止设备损坏的必要装置。视频中强调，当传感器达到阈值时，应当让其感知得如同痛苦一般，从而使其能够自主避险。

然而，在此处不仅产生了技术问题，还引发了哲学困境。Lee Geon-bok提出了一个问题：“如果必须让AI在工厂从事危险工作，但AI却说‘我做不到’，或者当试图拔掉电源插头时，AI反应说‘请不要这样做’，该怎么办？”他指出，植入人工意识在实用层面是必要的，但可能会产生与人类控制权相冲突的复杂问题。他提到，这些问题最终可能会演变为哲学问题。

AGI的标准：从“知识”转向“工具利用”与“经验”的结合

随着Google的Argon等前沿模型的出现，关于AGI（通用人工智能）的争论愈发激烈。Lee Geon-bok承认AGI的定义较为模糊，但他将AGI与单纯拥有大量知识的状态区分开来。他将AGI定义为“具备卓越的社会智能、能在受控环境中自主学习并拥有通用智能的状态”。他解释说，在LLM（大语言模型）发达之前，专注于回答、绘画、代码等特定领域的AI被简单地称为AI，而AGI则意味着在人文、科学、数学等所有领域都表现出色的全能型智能。

他将AGI的实际体感标准归结为“日常执行能力”。他借用图灵测试的概念，举例说明：“达到能进入韩国30坪左右的公寓并使用电饭煲煮饭的水平”。他指出，目前的模型在“如何煮饭”这类步骤性的知识层面，已经达到了超越人类的水平。他还补充说，如果询问在没有米的情况下该怎么办，AI能够通过搜索或寻找其他方法给出有意义的回答。

不过，Lee Geon-bok分析认为，与模型本身的性能相比，“Harness”（工具利用能力，即利用周边技术及工具的能力）的发展才是接近AGI的核心动力。他解释称，近期的AI即使在用户没有一一告知的情况下，也能从最新的编程网站查找资料，或自主获取所需数据，展现出了积累了经验与权限的“组长级”能力。随着这些技术补充的实现，AI正在从单纯的回答工具进化为能够自主执行任务的“智能体”。他预测，从提供模型的企业立场来看，未来的发展方向将是直接在模型本身搭载相关功能，使之达到用户无需使用额外Harness功能即可使用的程度。

超级智能（ASI）与以AI为中心的工作范式转变

对于AI超越人类智能的阶段——ASI（超级智能），虽然定义各异，但Lee Geon-bok划清了界限，认为这并非单纯指知识丰富的状态。他认为，ASI可能意味着具备了能理解与人类相似的细微差别并明确把握意图的“社会与关系智能”。他特别提出，必须确保与物理世界（Physical World）的联动性，才能被认可为真正意义上的智能。如果物理AI（Physical AI）进一步融入生活，AGI的概念也可能被重写，即不能仅停留在数字空间的知识，还必须伴随着对物理世界的理解。

这种技术趋势预示着工作方式的根本性变革。过去是由人撰写并传递文档，而现在正开启“以AI为中心的沟通”时代：AI生成易于AI理解的格式（如Markdown文件）的文档，并将其传递给其他AI以完成工作。根据视频中的案例，如果用户将制作的文档以Markdown（MD）文件形式导出并交给另一个AI，对方的AI能够立即理解并产出相同的结果。

Lee Geon-bok表示：“现在已进入一个假定AI存在并以此开启所有工作的时代。”他暗示，AI智能体在购物、预约、旅行等日常领域的标准制定过程指日可待。正如Meta和OpenAI正试图制定AI机器人购物及交易技术标准一样，一个能与现有遗留系统进行沟通并执行任务的、以AI为中心的生态系统将会构建完成。

来源：原视频（YouTube）