Jev 不是推理革命,是一个做得不错的分类器
最近 Jev 这个模型传得很广。宣传里的说法很大:前 OpenAI 研究员做的、成本降低上百倍、解决了 System 1 幻觉。
我看了一期拆解它的视频(B 站「闪客」的《你管这破玩意叫 Jev?》),下面是整理和我自己的判断。文中关于 Jev 实现的说法都来自这期视频,我没有拿到源码,也没有自己测过。
视频里有个细节很有意思:有人把 Jev 自己的宣传文案交给它判断,它的结论是「99% 概率是重度营销」,置信度 99%。
一、「快上万倍」:把任务拆开并行跑
普通 LLM 的输出是串行的,一个 Token 接一个 Token 生成。
按视频的说法,Jev 的做法是把一个长问题拆成几个独立的小判断,同时发出去。比如要判断三件事,就起三路并行调用,各自只回答一个选项。
这件事不需要新模型,自己写个并发调用也能做到。Jev 只是把拆分和并行包在了 API 里面,用起来体感很快。
还有一点:这几路调用的前缀(背景描述)是一样的,按理可以共享算好的 KV Cache,省一大块重复计算。视频说 Jev 没做这一步。所以它的快,主要来自并行和「输出很短」,不是算力上的优化。
二、去掉词表输出,换成给枚举打分
这是它改动最大的地方。
普通模型最后一步,是在几万个词的词表上算下一个词的概率。Jev 把这一层换掉了,换成针对固定枚举选项的打分网络(视频里叫 Scorer)。模型不再「想下一个词说什么」,而是在你给的几个选项里打分。
训练上也配套改了。视频说它不用 RLHF,用一种叫 LCD 的方法,只奖励判断对不对,不管话说得好不好听。
但底座没变。判断能力的上限,还是它用的那个基座模型。它没有发明新的推理方式,只是把模型的输出范围收窄了。视频里还提到,有开发者指出这和一年前开源的一个项目思路很像。
三、「100% 消除幻觉」:只消除了格式错误
幻觉其实有两种:
- 结构错误:输出不是合法 JSON、枚举值越界、字段缺失。
- 事实错误:格式完全对,但答案是错的。
Jev 解决的是第一种。输出只能从固定选项里选,格式错误当然不可能发生。视频里一句话说得很直接:这部分根本不是大模型生成的,是程序写死的。
这就像说计算器永远不会胡说八道,因为它本来就不能说话。
答案对不对,还是看底座模型。格式 100% 正确,不等于答案 100% 正确。 把前者说成「解决了幻觉」,是在偷换概念。
四、复杂度没有消失,转移到了调用方
它快、它稳,代价是通用性。
要用好它,你得先把问题拆成一个个有限选项的判断题,给每个输入输出定好严格的格式,拿到结果后再自己拼回业务逻辑里。这部分工作以前由通用模型的「理解能力」兜着,现在要开发者自己写。
对 Java 程序员来说,这很像把一个随便传 Map 的接口改成强类型接口:调用方多写代码,换来的是结果可预期。
我的看法
思路是对的,宣传是错的。
我自己在集成编码智能体时就遇到过这个问题。系统里有一步「意图识别」,本质是从几个固定意图里选一个的分类题,但它每次都调一次完整的通用大模型,带着 temperature 等生成参数。后来网关不支持这个参数,请求直接报错,而异常被静默吞掉,意图识别恒为 UNKNOWN,系统表面上却一切正常。
像这种「从固定选项里选一个」的判断,本来就不该交给一个开放生成的模型。换成 Jev 这类分类器的思路——输出限定在枚举里、只训练判断——结果可预期,也更便宜。
另一个经验:工具的入参我后来一律改成扁平的字符串,不用嵌套对象,因为嵌套结构正是模型最容易「格式出错」的地方。这和 Jev 限定输出范围是同一个道理:能用约束解决的,就别指望模型自觉。
所以我的建议是:
- 分类、打标签、审核这类任务,值得借鉴这个思路:把输出限定成枚举,用 JSON Schema 或结构化输出强约束,或者直接用专门的小模型。
- 需要推理和生成的任务,它帮不上忙,别被「万倍加速」带偏。
- 看到「革命」「颠覆」「解决幻觉」这些词,先问一句:它解决的是哪一种问题,代价转移到了谁身上。
本文初稿由 NotebookLM 根据视频生成,我改写了结构、删掉了不实的描述,并补充了自己的实践。