“从6.52秒到0.3秒”…以判断为核心的“System 1 Model”将改变AI软件

人工智能（AI）正在跨越单纯与人类对话并生成长句的阶段，迈向在软件内部进行实时判断的“System 1 Model”时代。如果说传统的语言大模型（LLM）需要经过漫长的推理过程来完成回答，那么这种新型模型则通过返回程序可以立即使用的概率和选项，有望从根本上改变软件的可用性。

“等待6.52秒的游戏，在0.3秒内完成动作解析”……速度决定用户体验

根据最近在“不可能工学 - IT科技新技术”频道公开的演示视频，AI模型的判断速度正成为决定软件实际应用价值的核心要素。视频通过文本类RPG游戏的开发案例，用具体的数值展示了AI判断速度差异所带来的变化。

在现有配置中，将用户的句子解析为角色动作的中位时间为6.52秒。然而，在应用了TypeSafe AI公开的“Jev”模型后，这一时间大幅缩短至0.317秒。视频分析指出：“每移动一次都需要等待6秒以上的游戏，与能在0.3秒内解析动作的游戏，其使用感必然截然不同。”

这种速度创新并不单纯意味着“快速回答”。它预示着AI可以被投入到需要频繁实时调用的功能中，例如游戏中的障碍物规避、写作过程中的句子语调及情感评估、SNS信息流过滤等。通过AI“快速且廉价的判断”，以往因成本和时间问题难以实现的各种功能，有望作为软件的基础功能被整合进来。

不再生成句子而是返回“概率”与“选项”……通过并行处理实现效率最大化

TypeSafe AI开发的“Jev”模型在技术导向上与现有的LLM不同。如果说一般的自回归（Autoregressive）模型是基于前一个Token顺序生成下一个Token的方式，那么Jev则是被设计为根据开发者预设的问题和回答形式，立即计算出概率值。这类似于在程序内部运行的“判断函数”。

根据视频显示，Jev的核心差异点主要有三点。第一，它不生成回答句子，而是返回“为‘真（True）’的概率”、从预定选项中选择其一的“Choice（选项）”、以及按有序尺度进行评估的“Score（评分）”。例如，当询问特定评论是否符合用户意图时，它不会给出长篇解释，而是立即给出该判断的概率值。

第二是并行处理能力。现有模型通常需要逐个处理问题，但Jev可以针对一个输入同时提出多个问题，并并行产出答案。通过这种方式，它可以一次性评估客户咨询是退款请求、单纯的不满还是需要进一步确认，从而缩短程序的等待时间。

第三是概率的可信度管理。公司解释称，使用了使预测概率与实际结果保持一致的“RLCD”学习方法。如果模型给出的概率比较模糊（例如52%），程序代码可以识别这一点，并引导其收集额外信息或交由人工确认，从而实现精细化的控制。

从浏览器操作到编辑器……AI判断将渗透进App的“每一个瞬间”

这种以判断为核心的AI应用也体现在浏览器操作等复杂任务中。根据“Browser Use”团队公开的案例，在搜索航班的过程中，AI会读取网页上的按钮和输入框，并将其转换为选择题形式。随后，通过选择代表将要执行的动作的编号，Jev模型在约7秒内得出了航班搜索结果。由于并非所有的点击都需要漫长的推理，因此形成了分工：需要“快速判断”的任务由Jev负责，而需要“生成新句子”的任务则由专门的生成模型负责。

未来随着这类技术的发展，预计会出现这样一种软件：用户无需单独向AI提问，在进行操作的瞬间，AI的判断就会实时附着在任务上。例如，在写作时，编辑器可以实时指出是否遵守了约定；或者在SNS信息流中，根据用户设置的条件自动折叠帖子。

不过，视频也指出了技术局限性。模型提供的“格式保证”并不等同于“答案保证”，并预测即使判断速度变快，如何设计能够识别屏幕、实际执行并修复错误的架构技术，将成为未来的重要课题。目前，Jev的价格定在每100万Token约为0.04美元的水平。