《Latent Space》访谈:TypeSafe CEO Diogo 谈 Jev 发布(中文全译)
视频来源:https://www.youtube.com/watch?v=cFx9Z3ZXca0(时长约 2 小时 22 分)
译注:本译文基于视频机器字幕整理。
开场(0:00–1:32)
开场片段(片尾引用)
……大概要花上一两年,人们才能真正跟上。说实话我不知道要多久。如果模型质量真的重要,那我们会在很长时间里处于非常有利的位置。但这事儿已经成了——它改变了技术史的走向。
主持人:进入本期节目前,说几句话。谢谢你们。如果没有你们愿意点进来,我们没法持续做你们显然想看的 AI 工程、科学与娱乐内容。几乎每天都有赞助商找上门,但幸运的是,有足够多的人订阅我们,让这一切在不接广告的情况下也能维持下去,我们也想一直保持这样。只求大家一件事:点一下订阅按钮——这是完全免费的,也是你能为节目做的最有力量的一件事。这是我唯一一次开口求人,它对我和每周辛苦做节目的团队意义重大。只要你们点了,我保证我们永远不会停止把节目做得更好。好,进入正题。
一、Jev 发布周与 AI 经济革命(1:32)
主持人:我们到录音棚了。今天是个特别的日子——这周,我的好哥们 Diogo 发布了 Jev,整个时间线都被它刷屏了。感觉如何?当"此刻的你"是什么滋味?
Diogo:情绪上,从没这么糟过(笑)。我现在就是一具行尸走肉,事情实在太多,而我是技术型 CEO,有一堆火要救。但心态上——这话我常挂嘴边,这几年在我的各种线下活动里反复说——我觉得整个 AI 领域就像一个嘉年华镜子迷宫,所有人都疯了,说着最奇怪、根本讲不通的话。而仅仅这一周,我感觉自己终于和现实同频了:"哦,原来大家现在看到了:AI 可以远超人们曾经的想象。"是的,"一场基于 AI 的经济革命"重新回到了桌面上。这太棒了。开发者们懂了,我特别嗨。我想向开发者们表达由衷的感激,为社区和这一切感到兴奋。
主持人:你昨天说,你决定优先开开发者 Town Hall(见面会),而不是去见一堆 VIP 投资人,因为你想把注意力留给工程师和开发者。
Diogo:有时候那种感觉是"哦,我在跟非常重要的人说话"——我不该点名——但把社区放在日程表之外的位置,对我来说有点"脏"。我可能对人对事过于真诚了。理想状态里,我的日程应该全是社区。我甚至在想要不要在走来你录音棚的路上顺手办一场 Town Hall,转念一想:那也太疯了吧。(笑)
主持人:你们一直在 Discord 上办 Town Hall。Discord 现在 10 万人了。还有你的 Twitter 数据——
Diogo:(清嗓)天哪,我的 Twitter 炸了。特别搞笑的是,AI Engineer 大会(AIE)那会儿我还在喊"求关注",结果连自己的账号都没报。我是个菜鸟。
主持人:但这反而是正面气场——你连自我营销都不会。有人抓到你发"天哪,我们占了三个热搜词",结果人家发现那是你的个人推荐流。
Diogo:对,热搜是按你点过的内容算的。
二、什么是 Jev?System One 模型与可编程 AI(4:19)
主持人:恭喜。先给活在石头底下的人一个"权威定义":Jev 到底是什么?
Diogo:(叹气)这问题真难。……我第一件松口气的事是:以后不用再跟爸妈解释了,ChatGPT 就能讲明白。我的看法是:我们需要一个新的模型品类。我们不执着于给它命名;目前能想到的最准确名字是 System One 模型。我们不叫它"决策模型"是有原因的——System One 超越"决策"本身,我能说的就这么多。我们没料到这会成为我们的"大发布",我们手里还有存货。
主持人:你该说是"低调的研究预览版"。(笑)
Diogo:也确实是。有一类模型,我们描述为:机器原生、System One、大型、可编程。这个品类的目标是:让代码成为消费者。与之相对——预训练大语言模型是给"互联网自动补全"用的;RLHF 模型(聊天机器人、指令跟随模型)是给"回复文本"用的;RLVR 则处在一个介于两者之间的奇怪灰区。而这一类,是让输出直接被代码消费——我们公司的名字 TypeSafe(类型安全)正是由此而来。我们真正想要的是让 AI 尽可能强大,而我们相信路径是把它与软件集成。从最深的内部开始,一切都是为软件设计的。所以第一:Jev 是我们的第一个大型可编程模型。Jev 为"每美元智能"(intelligence per dollar)优化——名字 Jev 就来自 Jevons(杰文斯)悖论。Jev 这个名字将属于整个站在"每美元智能"前沿上的模型系列。
主持人:我最爱和人们争论可靠性、成本、校准、速度哪个最重要。而校准是大家之前谈得较少的新维度。我们以前和 Hugging Face 的 Clémentine(音)做过一期,正好呼应你对 RLHF 的整套批评:模型在 RLHF 后发生"众数坍缩",向"你最想听的/最大概率"的答案收敛,而不是保留模型自己的内在置信度。
三、RLHF、众数坍缩、校准与 Yann LeCun(7:26)
Diogo:我能就这个上肥皂箱讲两分钟吗?听说你的听众是最技术的,我想讲点真东西。我们的发布视频里每一个内容我都以极高的精度核对过"准确且真实"——据说这非常罕见。其中一个没人注意的点,是 RLHF 的缺点,特别是众数丢失(mode dropping)。
主持人:众数坍缩。
Diogo:一回事。我以后会写篇博客,但我想让尽可能多的人知道这个。辛辣观点来了:我很信 Yann LeCun,我认为他的观点在所有主流声音里是最接近正确的。
主持人:比如这条?(笑)
Diogo:他那张著名/ infamous 的幻灯片:"LLM 注定完蛋"——饼图里只有一小角,说随着序列变长,出错的概率不断累乘,整体正确率趋近于零。
主持人:对,那张。
Diogo:我特别爱这张图,因为它属于那种"数学上显而易见、经验上显然不成立"的东西。这正是我最爱教大家思考"脱节到底在哪"的案例。那么,讲讲众数坍缩吧——
主持人:众数坍缩和这个有关系吗?
Diogo:有关系。脱节的机理是:如果你维持的是一个"覆盖众数"、经过校准的分布,那么出现离群输出时你不会被过度惩罚——你应该预期:有些时候在分布内、有些时候在分布外。这就是"覆盖分布"的行为,比如 GAN 之前的生成模型,生成的图像都是模糊的。而 GAN 是众数丢失:丢掉少数类,只做最常见的那些。这就是为什么 LeCun 说的那个效应不会发生:模型为了生成很长的、不犯错的文本,会变得极端保守——因为错误很容易被看见,而那种"看起来对的微妙错误"很难被看见。这种(被 RLHF 强化的)校准,对文本的概率分布是彻底的毒药。我认为:这就是为什么"长序列错误累乘"在经验上不成立,也是为什么字符串模型天生不适合做决策——把字符串模型硬当决策模型用,是很糟糕的事。
主持人:既然提到 LeCun:你同意他的解法吗——世界模型,JEPA 那类联合嵌入预测架构?他担心的正是"在 token 输出上推理、再循环回去,直到生成结束",而他的解是 JEPA。那是正解吗,你有何看法?
Diogo:(哼笑)哥们,我大概不该多谈 ML 内部细节。但我的风格除了"放飞"就是"实用",连这个观点也是实用的。我是 scaling law 粉吗?看情况。scaling law 告诉你:投入多少资源,能换来多少提升——通常是指数级资源换次线性收益,听起来是笔糟糕的投资,除非那些收益真的极其值钱。对我而言一切归结为:用手头有的东西,做出最大可能的改变。我可以骂脏话吗?
主持人:可以,我们是成人节目。(笑)
Diogo:另外,JEPA 是很棒的早期研究,我超爱这类研究。它现在实用了吗?我大概不该说。我只是觉得:当下的研究世界里遍地都是没被打磨的钻石,因为人们不知道怎么找到"正确的任务"。我们这次发布为公司踢了开门,也会为"可编程 AI"这个方向踢开门。软件被超充之后,本就会有一场建在它之上的淘金热;但我认为还会有一场平行的淘金热——关于"还能用哪些方式把智能暴露给软件",让人们做出更酷的东西。然后我们就回到早期互联网的那种能量。这就是为什么 Twitter 上全是"Jev、Jev"。这很鼓舞人,因为它与我们习惯的一切——"抱歉,你不能这么做;scaling laws 只有大实验室玩得起"——完全不同。
四、可编程 AI、拒答与安全对齐(11:59)
主持人:我要跑个题,你可能会喜欢。(我们已跑了五个题了。)Discord 上大家反复问你、你还没来得及解释的问题是:你为什么反对安全对齐(safety alignment)?为什么 Jev 不拒答?
Diogo:我不反对"安全"这个原则,但我认为安全对齐通常与用户是对齐错位的。拒答就是一个明显的类型错误(type error)。你是个人类,在跟一个瓶子聊天——比如你在 Claude Code 里写代码,突然弹一句"对不起,我不能读 DNA.py"——很烦。烦,但你能忍,你被迫忍,因为你得了斯德哥尔摩综合征。但换个场景:你把模型作为依赖放在后台跑,它拒答了怎么办?别人在用这个依赖,人家根本不了解那个系统。你要让软件因为某个用户发了条奇怪的消息就随机崩溃?这是彻头彻尾的疯狂。这种设计来自一群不懂软件、不懂编程的人;他们执着于"AI 同事"这种"无马马车"式的想象,而不是去挖掘 AI 的全部力量。
主持人:你想要的是一个随处可用的核心内核。
Diogo:对,认知内核(cognitive core)。你要它足够通用、足够为其用例优化,能在所有未来用例、所有人正在搞的怪东西上工作——我们显然没在那些数据上训练过。它在这些没见过的东西上好用,意外吗?不意外,因为我们训练过更怪的,朋友。(笑)回到安全对齐:我认为安全对齐对"第一方产品"是有意义的,比如 ChatGPT、Claude。能力对齐与安全对齐的区别是:能力对齐是"做用户想做的事"——对软件工程师来说,他们要自己的东西干活,而且越可预测,他们需要做的测试和调弄越少。我们现在离那一步还远——还要再多好多好多个"9",好到像数据库查询:你根本不用想,需要智能时它就在那里。而安全对齐是指令跟随的反面:它是"去听从别人的指令",比如 OpenAI 的指令。
主持人:正是。
Diogo:对产品来说这说得通——ChatGPT 不想提供 NSFW 角色扮演,随他们;也许他们的用户(有老有小)就是需要这样,没问题。但在 API 里,这是疯了。人们要在你的 API 之上编程,强制他们绕过你的拒答——这太反用户了。我是个容易愤怒的人,我该冷静下来。
主持人:大家感受到你的热情,这很好。我提一个反驳:如果有人拿它去杀人呢?这才是真正要紧的问题。它是私人的、个人的无所谓,但战争用途——公司完全可以合理地不希望自己的 API 被这么用。
Diogo:我承认存在一些务实的立场可以那样主张。但我不认为"通用技术的基础层"是那个地方。我个人当然希望我们的东西不被用来杀人;希望它被用于世上各种美好的事。我会不会为此施加影响?会。但会在技术层吗?绝对不会。因为那会割裂智能(fracture the intelligence)。每一次你让模型过拟合到某个奇怪的东西,都是在把它割得更碎——而它们现在已经被割得不成样子了。再者,在我看来,智能未来更像数据库而不是同事。我不认为该由数据库来加检查、判断自己是否被用于坏事(比如 CIA 干的某些事——其实我也不清楚 CIA 到底干什么,你可以想象)。那不是数据库的责任。还有件事让我觉得奇怪:有人在 Slack 上注册了我们的服务,然后问"我们要部署这个,我们能部署吗?"我说兄弟,我们是 API,你是开发者,这不关我的事。理想情况下,我们甚至不该知道下游用户在干什么——因为任务应该被分解成小片段。这是一个好边界,它给软件工程师最大的权力。理想情况他们用它做好事,我们也愿意帮忙——开源、慈善这些我们都聊过,但现在真的一点时间都没有。但只要我当家,技术层里就不会掺进任何这种偏向。
五、为什么 TypeSafe 拒绝公开基准(18:50)
主持人:趁这个话题,简单聊聊你们的隐私条款和使用条款——之前有一些误解,我想 upfront 帮你澄清:你们对 API 的限制其实并不严。从意识形态上讲,你显然非常认真地对待自己作为"平台"的角色。
Diogo:我不确定你指什么。我猜是说 benchmark 那事。我们当然不会阻止人们做性能测试——哦等等,我得小心措辞。(笑)
主持人:你公开说过那是预览期的条款;正式发布已经拿掉了,你现在要去把它拿掉。
Diogo:团队做了我都不知道的改动,很好,说明团队内部沟通过了。我让他们去跟律师核对。我们显然不会阻止人们做这类事,我非常支持。但我极其反对公开基准测试;对"作为代理指标的私有基准"持中立态度。
主持人:是怕饱和,还是怕别人在公开榜上训练?
Diogo:公开榜的问题不只是容易作弊。设想两年后有一个行业,一堆人在做和我们类似的事——"50 个 Jev 克隆"。我们卖的是"每美元/每秒智能"。人们痴迷于成本和速度,但那只是"你花钱买了什么东西";真正重要的是智能本身。而智能的问题在于,它有一种"难以言说的气质"(je ne sais quoi)——"好模型的 smell"。发布两小时后发生的事,其实比视频本身影响还大:"天哪,这东西真的能用。"大家能真切感受到我们有多在乎这一点——我认为这才是长期的根本。而公开基准与它背道而驰:公开基准是一种"建立对智能的信任"的方式,但它们极其、极其容易被刷,就算你不想刷也会刷。早年间,每家实验室都有一个团队专门去收集"长得像 MMLU"的数据来让分数好看——那就是"刷榜"加了个工序。所以我相信:长期来看只能靠"手感(vibes)+ 信任",直到你把它接进你自己的工作流、为那个工作流做评估、得到属于你自己的、对"我关心的那个工作流"的真实体感。而我们的职责,就是不断抬升可靠性的"9"——这是公司永远的日常。我们本可以犯傻一点:Jev 一年半前就能发。我说的"最苦的教训"——
六、最苦的教训:数据、算力与正确的任务(22:12)
主持人:展开讲讲, hell yeah。
Diogo:Sutton 大意是说"算法胜过算力"。但显然,数据比算力重要得多,而"做对的任务、有一个北极星"是最难也最重要的事。这在 LLM 领域已经发生过两次,也许算 2.2 次:RLHF 把任务转向了"指令跟随"——当时没人意识到这是可能的;RLVR 对方向做了一个小小的编辑;然后是我们——RLCD——一个新任务:把程序放进环里(programs in the loop)。数据重要得难以言表。你可以把我们叫"数据实验室"而不是"模型实验室"。模型能力=数据。数据复杂得不可思议,"9"都是数据挣来的。我们在无限地招数据人才——真的是无限。(笑)
主持人:什么算好的数据人?显然是那种真的会去逐条读对话记录的人。你们的语料全是合成的——
Diogo:对,但那只是表层。"合成"不等于"随便生成":我们让一群有品味、极其用心的人盯着数据,articulating 出哪里不对,回去重新生成。数据人的工作复杂到——我给数据团队做的 onboarding 演讲,估计比这期播客还长。我试着讲高层版:第零,数据和合成数据取决于任务——任务的形状决定数据的形状。RLVR 的数据更像"环境";RLHF 的数据是人类反馈;每个任务有自己独特的数据形态,我们也有我们独有的那种。第一,我们不想用用户数据训练——哪怕现在我们几乎可以要任何条款,用户也会答应。我们是真不想要。因为真实世界的数据偏置太重:存在一种幂律——人们反复问同样的东西——你会过拟合上去,然后被它割裂。第二,我们瞄准的是多年后的科幻未来:这些模型会成为通用基础设施,一层又一层深入栈底,深入到人们无法想象的地方。我希望大家这样理解我们的模型:LLM 之于 UDP,我们之于 TCP——上面可以盖各种东西。要接住那些未来用例,软件才造得出未来。而方法是:哪怕我们拿到全部"当下"的数据,也只会过拟合于当下,然后就不好用了。我们的数据团队像艺术家一样研究我们的认知内核——我们的认知内核比任何人的都更平滑——他们找到毛刺(jaggedness),然后以外科手术式的方式处理它,而且处理方式追求"在所有可能的维度上泛化",而不是只修那一个精确案例。每一次都需要巨大的智能。
七、RLCD vs. RLHF 与 RLVR(26:30)
主持人:你之前批评过我的思维太 RLVR 化——很公平。那我们正式聊聊 RLCD。据我所知,你们从没就它发表过论文。怎么让大家相信这不是你们为了装酷发明的黑话?像校准这种概念我认为已经足够普及,但 RLCD 相对于大家熟悉的 RLHF,到底是什么?
Diogo:好问题。反问一个:RLHF 是什么?其实 RLHF 一词指过好几样东西。最原始的是 Paul Christiano 他们"教机器人后空翻"那篇(2017 年)——用人类偏好教强化学习去做难以指定的输出。严格说 PPO 不一定来自"人类反馈",但那是一类开放的对齐工作,能教会很难指定的行为。然后是"Learning to Summarize"——OpenAI 那篇,把 PPO 用在语言模型上做不太良定义的事;那批人后来也合著了 InstructGPT / 指令跟随论文。这篇我没参与。
主持人:哦,Dario 也在作者列表里。
Diogo:还有 Alec Radford。向 Alec 和 Ryan(Lowe)致意,爱他们。而我口中的"RLHF",指的是指令跟随这个任务本身。重点不在 PPO——算法不重要;重要的是它立了一个北极星:"这是一个有价值的方向。"这就是"最苦的教训"式的北极星思维。对我们来说,RLCD 就是这个新北极星:支持可编程 AI,把"人"从环里移出去——因为 RLHF 是为"人在环里"调校的,而我们要的是全部自动化、让程序来消费智能。
主持人:我漏了什么吗?
Diogo:就一个细微之处:要实用。要清楚语言模型/AI 现在真正擅长什么。有些"可编程"用法可能酷爆了,但技术还没准备好——那就是自大。
主持人:听着挺自大的。(笑)
Diogo:不,我是真信。而且早在这家公司存在之前我就这么想了——
主持人:我可以作证,他说这些说了三年了。
Diogo:我一直在说,因为我曾以为这会很容易。有句话是"他们做成某事,不是因为容易,而是因为他们以为容易"——大概这意思。我以为这个项目一周就能搞定,结果错得离谱,所以我要向 OpenAI 的所有人道歉。(笑)悲剧在于过度承诺、低交付——AI 在这条轴上极其严重,RLVR 和 RLHF 都是重犯。但潜力是真的在那儿。AI 显然聪明得吓人。我喜欢在我的演讲里问:AI 怎么能聪明到解千禧年大奖难题,却连最基础的、最枯燥、最没成就感的工作都自动化不了?这些工作不需要绝顶聪明的人;还有更好的事等这些人去做,但因为自动化不了,我们还得让他们干这些最基本的活。我们手里有一台超强自动化引擎,却没有合适的"插头"插进这些有经济价值的工作里。整个 TypeSafe 公司明天消失的话,人们可能要一两年才能真正追上——我不知道具体多久。但如果模型质量重要,我们就会长期处在非常有利的地位。总之:这事儿成了,它改变了技术史的走向。
主持人:完全同意。我替你 paraphrase 一下给大家听:不要把 TypeSafe 和 Jev 的成功理解为"好了,现在多了一种模型类型,收工回去干活"。不是的——还有至少五种别的模型类型值得探索。百花齐放。
Diogo:绝对。早期互联网的能量回来了,技术乌托邦回来了。不再是"唉,有时我的编程 agent 能用,但最好的那些都被锁在大厂内部"。**创造重新回到了菜单上。**这会是一个狂野的世界,系好安全带,我为此超级兴奋。
主持人:你现在有资金和势能去做任何想做的事——说了这么多年,终于做给世界看了,很 gratifying。
Diogo:一直当 tease 的感觉挺奇妙。我的演讲像悬疑片,因为我从不说自动化将如何发生。Sean 看了我们的宣言说"这几段有点含糊"——第一步是什么?智能到底是什么?
主持人:我当时只要求"模型",你说"模型在路上"。我只是不太喜欢"可组合(composable)"这个词,但"可编程(programmable)"这个说法太棒了。
Diogo:谢谢,我们后来都团结在这个词周围了。我们希望我们不像某些公司那么邪教(笑),但我们确实为自己做的事疯狂。顺便,这是"秘密大师计划"——《机器原生可组合 AI 的形态》。搞"秘密大师计划"是你的主意,这是 Elon 的招:他做 Tesla 时就说"这是我们要做的"。
主持人:官方 credit 归你。但你早该告诉我你们要发模型——你只讲了一半的故事。你那时还没有 Doom 演示,也没有数字可给。
Diogo:问题是我不信刷榜(benchmaxing)。(笑)
主持人:对,所以"这东西你得亲身感受"。我认为这是建立长期信任的方式,虽然代价很大——去年融资时没人信我们,他们就要基准数字,我们说不给;我们有原则,我们不会去奖励坏行为,随你们怎么看。
Diogo:某种意义上,选难走的路,最终你会得到一家你自己也愿意在里面工作的公司。不然你卖掉了原则,就只是"换了我的人的 OpenAI"。(笑)
八、发布之后:数字、候补名单与"neo-lab"标签(35:37–41:27)
Diogo:我对这条路没什么后悔的——它成功得难以置信。昨晚我讲起离开 OpenAI 的原因时情绪上来了,因为发布之后我不得不改措辞。我原来的说法是:如果 AI 寒冬真的来了,而我没有用尽一切可能去阻止它,我会视自己为负个人责任的人——既为 RLHF 这个方向(我认为它极度拉大了"过度承诺 vs. 低交付"的差距),也为没有 all in 这个方向(我认为价值将在这里被印出来)。很酷的是:我担心的那个 AI 寒冬,被避免了。AI 会有用、会被用于自动化。发布不到一周,数字已经不可否认:它正在被用于真实工作。狂野西部来了。
主持人:有什么能分享的数字吗?注册量之类的。
Diogo:我其实不在一线盯这些,都是团队告诉我,而且每天都在变。一个已跨过的里程碑是每日 token 量——不是昙花一现的那种:连夜里都在持续滚动,是机器在调用它,不只是人类在试用。一天一万亿 token 是很大的量,跨过它很酷。注册量在我看来不重要。坦白说,候补名单(waitlist)是我们犯的一个小错误。Twitter 上有人叫我们"营销天才"——其实我们没有营销,还在招人。我们只是做自己:真诚、呆萌、不敬。我们的平台团队强得离谱——在史无前例的发布压力下,正常运行时间比 Anthropic 还多好几个"9",向他们致敬。我们没意识到的是:对开发者平台来说,候补名单人数真的不重要——其中很多根本不是开发者。他们进来试两条查询,很多人懵了,因为他们不写程序:"这啥?我的 ChatGPT 在哪?"我有个粗略的估计:**全世界每个人都写两条查询,加起来与一个 power user 的一个 for 循环创造的价值相比,只是舍入误差。**候补名单真正的教训是:把人放进来没问题,吓人的是限流(rate limit)。一旦人们开始从中获得价值,他们就要海量的限额——软件就是这样:你前期花力气指定好你的重复性任务,然后这个任务创造的回报大于投入;你把它放到后台跑,变成其他东西的依赖,再往上盖更高层的东西,你就在世界上创造了巨大价值。早期互联网的人大概想象不到 2000 年代初互联网的奇观——虽然那也不算"早期"互联网了。而正是因为可组合性,所有疯狂的东西才会发生。我在宣言里特别想强调:**我们要的是涌现(emergence),要做催化剂,要赋能人们。**为此我们什么都愿意做——开 Discord、办我穿着垃圾袋的 Town Hall、上播客——为了长谈,让大家越过表面、深入理解使命,让共鸣的人加入你或购买你——
主持人:你是说"成为客户"。(笑)
Diogo:对,作为客户,抱歉。(笑)
主持人:一个很讨喜的版本是:你的发布视频 3600 万播放了。
Diogo:现在 3800 万了。Nova Stokes 7400 万、Fable 5 5700 万【译注:两个名字按字幕音记,或有出入】。作为 2026 年新实验室(neo-lab)的发布,你们现在排第一,挺疯狂的。
Diogo:我有件 T 恤写着"你最爱的 neo-lab 最爱的 neo-lab",但我根本不在乎当 neo-lab。我们有好多恶搞 neo-lab 的周边——其中一件写着"有产品的 neo-lab"(它其实根本不是 neo-lab)。我不在乎标签;我在乎的是当一个可靠的开发者平台。希望我们超越这个叙事,回到"开发者的革命性时刻"和"人们可以依赖、信任的稳定之物"。
九、可靠性、稳健性与确定性(41:27)
主持人:你们讲"可靠性",我原以为主要是校准那套(RLCD 的论点),但其实也包括 uptime、可扩展性……全都是"9"。
Diogo:那只是其中一部分。还有"智能层面的可靠性":它有多一致地做到你要的事。大型推理模型在我看来非常聪明,但依然缺可靠性。很多用例看起来它们聪明到足以自动化、也有经济动机去自动化,却还是不够可靠——连个实习生都不如,因为它们为别的东西做了优化。所以既有"敢于信任输出"的可靠性,也还有很多让我们兴奋的维度。我想先自动化简单的工作,再自动化难的工作——这是常识。会不会有"足够可靠"的那一天?我不知道;我想做到人们不用试模型就知道它行。那就像编程里的心流状态:我就是因为这里需要智能而写一条查询;非平凡的分支逻辑,我用一条 TypeSafe System One 查询写出来,结果出来,分支就准确发生。那是梦,也是一段长征。
主持人:说到这个——我注意到 API 里没有 seed。同样输入永远得到同样输出吗?如果不能,为什么?
Diogo:好问题,这是我们内部的常见争论。可靠性是个大杂烩:AI 自动化不了什么,归根结底都是某种可靠性问题——类型安全也好、确定性也好,或者就是"坑坑洼洼"。确定性=同进同出。我认为它对单元测试略有价值,但它是错误的北极星。我认为人们真正想要的是稳健性(robustness):相似输入得到相似输出。LLM 有多不稳?我们的一个测试:在 prompt 里放 UUID、放无意义词(nonsense tokens)——语义完全相同的问题的所有变体,你期望得到相似的输出。那正是人们被"AI 做决策"坑惨的地方。所以稳健性极其重要。确定性我们也可以提供——就我对程序员的心智模型,某些用例确实有价值;请来评论区教育我。但一般来说,确定性是可以拿去换成本的东西。我们要随时钉在"每美元智能"的帕累托前沿上,为此我们做着绝对恶心的事——
主持人:说说嘛。
Diogo:我说了不该说的,也没人拦我。(笑)比如"自己给自己的 PR 签核",在这家公司是不存在的。顺便,本周我最想表扬我的幕僚长 Kay——她可能是科技界最有权力的人,这一切都是她安排的,她极其能干。呃,她很糟,别来挖她。(笑)大家劝我别说"模型的弗兰肯斯坦缝合怪",因为观感不好。但弗兰肯斯坦的怪物在原著里才是好人吧——它是无辜的。
主持人:我没读过原著。想看改编的话,某个版本还行。你现在没时间读书——你的优先级是:睡觉、开发者、开发者、开发者。
Diogo:对。总之:我们做着绝对恶心的事待在"每美元智能"的帕累托曲线上,还会继续疯狂。人们需要跳出框框思考——大家之所以惊讶,部分原因就是大家一直在框内思考。我们现在显然是这条线上的最佳,而且想保持最佳。
主持人:等等——你从哪岔出来的?我问的是 seed 和确定性,你给我定义了可靠性。
Diogo:(补一个一分钟稳健性例子,然后)再说一句:如果有人能说服我们"确定性是有价值的",而且我们没有巨大的 GPU 短缺,我们可以高高兴兴把模型做成确定性的——我们活着就是为了服务大家。但确定性会让你损失"每美元智能"。
主持人:鉴于 OpenAI 的轨迹,你会被用户压力推着做的。就算你告诉他们不需要,他们也想要。这就是 TLDR。
Diogo:好吧,也许哪天会发生。他们说我们品牌的一部分叫"不可动摇"——翻译过来就是"固执"。我确实非常固执;不固执,我们也走不到今天。
主持人:我跟你争论过,每次你对开发者的判断都是对的。我服了。(笑)不过我的意思是:给我正确的证据,你是会扔掉先验、说"嗯,这有道理"的那种人。
Diogo:我怀疑我们会长期受 GPU 约束。任何"每美元智能"更低的东西,都意味着同样的智能烧更多 GPU。我们的目标不是让公司来注册——那有价值——我们的目标是让人们实验、搞怪,把智能交到尽可能多的手里,掀起加州淘金热。而且淘金热现在已经在燃烧了。
主持人:一个提醒,因为肯定有人在想:当你说"我们不承诺确定性""为了每美元智能什么都愿意做""我们受 GPU 约束",人们会想:你们可能量化(quantize)模型——把发布时的模型悄悄降质去省显存带宽。也许该公开承诺"发布时的模型质量不变"。
Diogo:发布之后不改模型?!这想法太疯了。我们在乎开发者。第一方产品可以随便改——那是它们的产品体验,随它们;但 API 显然不能这么干。不过我要说:我们的节奏会比大家习惯的模型提供商快得多,我们会比大家以为的更快地发新模型,也不承诺旧模型的长期支持(LTS),因为有太多改进要做。有一种可能:我们会暂时给现在的 Jev 1.13.0 做 LTS——太多人在用,我知道开发者恨断依赖。替代方案是割裂我们的集群——养 100 个不同版本的模型,对谁都是坏消息;迭代快的话版本会更多。我们想要一种真正优雅的 LTS 方案,有相关研究在酝酿,它会是最"亲开发者"的东西。但我不会承诺永远保持完全相同的模型——它们只会一次比一次聪明。而且我的感觉是:我们模型版本之间的差异,已经比字符串模型同一版本调用两次的差异还小。真正的大 delta,发生在"从坑坑洼洼到 wow"的跨越上。
主持人:LTS 模型还有个美妙之处:可以移植到其他芯片上。想过吗?
Diogo:无可奉告。(笑)
十、速度与"每美元智能"(49:45)
主持人:那速度呢?你说在乎"每美元智能"——那"每秒智能"呢?
Diogo:再说。这是过去一年爆发的整个推理技术树——你可以搬到 Cerebras 或 Etched 上拿十万倍加速。"每美元·每秒智能"这种复合指标我们都讨论过。我对 Jev 系列的判断——我在公司内部追着人强调的是:不管它多聪明,必须处于"次前沿"(pre-frontier)。这就是 Jev 的品牌:它是"每美元智能"的最佳,而不是"每秒智能"。很多行业强依赖实时性,"每秒智能"对它们意味着真金白银。我愿意两个都做,让市场来纠偏。
主持人:这不只是实时性的问题,还有规模:规模大了,每一微秒都乘以几十亿、几万亿。后台批处理类查询(数据库 MapReduce 类的)延迟不那么敏感,成本更重要;但实时用户侧有 100 毫秒甚至 1 秒以内这种魔法预算线——哪怕你已经在 100 毫秒内,把时间再砍一半,意味着两倍智能、或两倍串行智能调用,体验天差地别。
Diogo:对,这些都很酷。我爱"每秒智能"的用例,但我不认为那会是 Jev 的生态位。另外注意行业惯例是"更快但更贵",而 Jev 站住了"更快且更便宜"的象限——在智能大致不变的前提下。
主持人:这个前提很难。
Diogo:"智能大致不变"是承重墙。(笑)我们不发公开基准,但内部当然有评测,而且要靠极高的自律不去刷它——"不刷自己的评测"是最高优先级。不然我们怎么保证模型在"每美元智能"的前沿上?我们不是盲飞:把所有变体画在同一张图上,为用户找最优点。我不反测量;但当存在任何替代激励时,测量就极度危险。这是我要铁腕统治的少数几件事之一:对自己模型的"有多聪明"不自欺,保持求真。
十一、Jev 的 API 与编程原语(55:35)
主持人:接下来过一遍 API 设计的细节,因为只有这个播客会问你这些问题。你们有三个原语:choice、score、nool。先问:nool 这名字哪来的?文献里有吗?
Diogo:现在有了(笑)。我们辩论了很久。它是"布尔型"的——true/false——但它是连续的。名字取自**伯努利(Bernoulli)**分布——所以拼写才那么怪。我们想过叫 "pool",想搞 "pool party",没人让我。(笑)最后 nool 胜出。Jev 的名字同理:我们是一群不敬的疯子,而程序员不在乎——Jev 就是个字符串,我们没指望它火,也没指望出谐音梗。内部其实很多人恨这个名字,后来都道歉了,除了一个人——她坚持想让 Jev 叫 "Meow"(喵)。
主持人:她当然会。(笑)
Diogo:我们不得不为这些东西发明新概念:如果叫 bool,人们会困惑。三个原语都是编程里不存在的新类型——这是故意的:它们贴近现有类型,但不完全一样。Score 不是 int——如果你用 instructor 或 pydantic 之类把 int/float 映射成 score,会有点小惨。我们宁可牺牲"一眼看懂",也要保清晰。Score 大致相当于"LM 评审打分";nool 更像概率——不过对我们来说一切都是概率;choice 最接近函数调用——而函数调用是个极其恶心的东西【译注:嘉宾此处提到"OpenAI 式的函数调用",说稍后展开】。choice 就是把 switch/match 暴露出来的正确方式:它干净地映射到枚举(enum),你想的话可以再水合成函数调用——enum-choice 才是核心。这三个都映射到编程原语:**choice→枚举上的 switch 语句;nool→if 语句;score→排序或大于/小于阈值判断。**这就是一直以来的愿景:未来会有更多类型,都映射到编程原语。
十二、如何用 Jev 构建:结构化、分解与小决策(1:00:00)
主持人:这一段是给决定 all-in Jev 的人的。你是专家——API 的选择、confidence 的用法、测试的关键、给点 pro tips。
Diogo:谢谢,我没想到有人问这个——大概几个月没人问了,上一次还是给 DevRel(开发者关系团队)onboarding 的时候。我们的模型是为"未来深入程序内部"设计的。我们真的(不开玩笑)相信:这会比人们今天能想到的一切都大得多。我们的模型也许还没准备好,但我们在持续为那个未来工作;我们不会一直堆"浅任务"的分——我们要深入软件的内脏,因为那才是让软件强大的方式。输入的部分——state、instructions、criteria——全都可以是结构化 JSON 对象,这样程序能把它们插进正确的位置,不需要塞模板。很多人没读到位,以为全是字符串。如果你还在把东西套进模板拼成 system message,那是旧思维的写法。我们应该让计算机更容易理解——那个结构是真实存在的。在编程语言里,把所有数字转成字符串再传递,通常只是为了"打印给人看";计算机内部应该到处传递语义化的嵌套结构。我们会持续把模型往这个方向优化——模型已经相当为此优化了——虽然每一层嵌套都让推理更难。这个方向值得大家继续做,因为它让代码更可读、更漂亮、与实现细节解耦。把它想成 AI 函数:我的状态(所有可用变量)的哪个子集应该传进来?System message 就是恶心的全局变量——什么都往里塞、所有指令一次全给,然后祈祷每条都被执行,而不是把问题并行拆开问。
另外我真心建议(不是从"帮我赚钱"的角度):多问、多拆,把问题变小——不管今天的模型能不能单步做到。我认为这一周最大的红利将是:大家的 AI 代码库会变得好非常多。把问题分解成简单决策,每一条都极其可评估。以前的模式是:一个巨大的 system prompt,再加一个更大的 AI 去检查"它有没有照做"——疯了,那是斯德哥尔摩综合征。你想要"别读这个子目录""别把 API key 传给 DeepSeek"这类约束被程序化地基本保证。机器学习模型永远没有保证,但通过分解,你可以测量:可以验证它真的被调用了。我们的接口本身高度可验证——这应该让你松一口气,它会带来好得多的工程。
主持人:过去大家不这么做,是因为以前调小模型又慢又贵。我自己就做过基准:一个大 system prompt 一次大输出 vs. 拆成 100 个小问题——后者更慢、更贵、效果还更差。
Diogo:会发生,而且极其不方便、笨拙——为什么不一次搞定?问题之间还得重复一些上下文,显得低效。但结果是一个很难依赖的东西。而软件需要能在后台跑——如果我们的东西不能在后台跑,我会心碎。
主持人:那有没有你们验证过的"怎么分解"的方法论?大家会拿你当参考:"哦,原来 Jev 该这么用。"
Diogo:我喜欢把事情拆到最小的语义单元——最低层的东西是什么?我可能是调用这个模型最多的人。我的查询写得极其结构化、显式;问题里我喜欢用反引号(backticks)标明我指的是什么——对所有模型都有用。我们要模型非常"字面"(literal),因为编程要的就是指令跟随极其到位。编程的艺术是指定指令;AI 的意义是扩展"可被遵循的指令"的种类。生产级的大东西,你要让"加问题"变得极其容易,对每个拆分都精确,让代码拥有你想要的精确行为。举个关于拒答的小例子:你不该问"这里我该拒答吗"——那是 System One 兼容的任务,答案会不错;但你远不如去问一堆相互独立的问题,覆盖你想拒答的各种具体情形——这样你可以精确指定你想要什么。妙处在于:如果你发现"它没拒答,因为这个情形我没指定"——太棒了,这就是软件工程:把那个问题加进去、加上阈值、也许记住它作为测试用例,然后就永远解决了。软件不会像 prompt 那样因为上下文腐烂(context rot)忘掉这件事;它就在那里,你可以永远测量下去。就算模型在有些事上不完美,你也可以基于真实样本给每个因素选阈值——这就像"没有 ML 的 ML"。当然有些事模型还不够好——看到有人拿模型做自动交易我就有点慌:看起来很酷,但那是极高层的难任务,建议交给专业人士;就算模型够好,有效市场也会让它突然"不够好"。你可以把它拆开、逐项评估,然后说"这个版本还不够聪明,先不上",或者权衡取舍、偏向安全,或者"模型检测不出'VIP 客户的讽刺语气'这种怪组合——到这条线就升级人工"。这也是置信度估计的用途。
主持人:快速追问:你依然把"阈值"当用户可拉的杠杆。但如果校准本身错了呢?
Diogo:我没说校准完美。
主持人:对——完美校准只意味着"概率高值高、低值低",但它可能局部错位,那我就想微调(fine-tune),而你们不提供。
Diogo:哦,你是问我们要不要提供微调。可以想象它在牌桌上。我有顾虑,属于"人们需要的 vs. 人们想要的"那一类:通用模型的优势在于通用性——把模型为一百万个其他任务调好,反而可能损害它在这个窄任务边缘情况上的表现,我会有点怕。我的答案:可以想象。OpenAI、Claude 甚至 Gemini 都上过微调又下架——所以现在微调基本是开源模型的领域了。
主持人:是。
Diogo:我听说过,那玩意儿确实挺烂,下架也许更好——它可能就是个 footgun;告诉人们"微调大概率是错误方向"是好事。另一个有趣的答案是:我们的模型如此不同——就像量化不适用于我们、输出 token 不适用于我们——微调也许也不适用于我们?我对此持开放态度。声明:这不是承诺,是愿望,我喜欢保持诚实。随着"每美元智能"越来越便宜,我们可以做很小、近似的、希望是智能代理物的东西。有没有一个世界,人们不再写正则表达式,因为调用 AI 的每美元智能比维护一个正则的复杂度还便宜?那太酷了。有些窄用例可能确实需要微调才能过阈值,走着瞧。我希望校准能做到:校准 + 模型瀑布(cascade)——置信度超高就直接用小模型;居中的话,再链到下一个更大的模型。我不知道会怎样,但可以想象。再想象一下:假设我们拥有整个"每美元智能"前沿——黑客也许愿意面对一组帕累托前沿的模型;企业可能想要更动态的:不同尺寸的模型,按你栈中不同部分需要的智能程度动态选择。甚至因为我们的东西如此简单,可以想象在上面做自动微调。完全不是承诺,我在科幻。
主持人:但你会考虑不同尺寸的 Jev 模型?
Diogo:绝对会。我怎么知道人们需要多少智能?需求是无限的。现在大家叫我们别发新东西——"已经够好了"。但这有点 lame。我喜欢这句话,也希望你们拿它监督我(因为很难收回):"文化,就是市场不奖励你时你做的事。"我觉得我们代表着一些东西。也许未来我们代表的东西变得如此显然,我们就成了无聊的 Visa——没人多想的公用事业,我改穿非粉色西装。但我想继续召集世界:我想继续做酷的东西,不是因为需要,而是因为我想让人们意识到那只是开始。那甚至不是开场炮,只是"低调的研究预览"。机器原生智能还有很多可做的。
主持人:所以不止一种尺寸,也可能不止一个模型?
Diogo:绝对。我想满足一切我们能满足的需求——但带一个巨大警告:我不想成为那种什么都往墙上扔的产品团队,一切要在一个统一愿景之下。回到宣言:一切都要落在这三根轴上。这三根不是 checklist,是我们认为构成"新一次技术革命"地基的轴。我们所有的赌注都要落在其中。模型方面我们会做一些非常怪异的事——因为是机器原生:用户不需要完全理解,只需要有价值。
主持人:给个提示?"怪"长什么样?
Diogo:有人在管它们叫"决策模型"。我们的原语确实是决策,但我不这么叫——因为还有不是决策的机器原生类型。就说到这。
主持人:很好玩的提示。有人说"我一年前就做过决策模型,Jev 不新不酷"。但你们建立了一个品类;而且就你们拿到的数字看,你们还在赢所有克隆品。
Diogo:先说清楚:我不在乎基准——赢或输我都不想给你们弹药。品类是我们立的;而"决策模型 vs. System One"这个区别正是关键:**我只是想让软件工程师被 AI 超充。**悲剧的是:AI 曾经如此强大却被如此低度利用。这是让我情绪化的点。我不想当纯粹的科技乐观主义者、说"什么技术都是好的"——当下发生的一切是一种浪费(travesty)。我只想为人们打开那些可能性。这几天我哭太多了(笑),就不在节目里哭了。
主持人:谢谢你的真诚,大家看得出你的热忱。从"TypeSafe AI"这名字可看不出来,但一旦沉浸进来就知道:你真的想让世界朝一个不同的方向走,而且你完成了 0 到 1 最难的部分——现在是大家一起往新方向走。
Diogo:我不确定"最难的部分已完成"——后面还有很多难的部分。如果各种东西都被自动化、GDP 增长终于出现、天天开 Jev 派对,那也许算完成。我不这么认为。我真的认为大家过分关注速度和成本,对可靠性关注太少——可靠性才带来愉悦,可靠性才让你敢于信任。
主持人:你有句话:"TFP 5 年增长 3%。"
Diogo:没错。我从没见过哪家实验室在乎 TFP(全要素生产率)增长。但经济革命就是这个——这其实与 OpenAI 章程曾经代表的东西高度一致。他们后来试图挪动定义,变成"1000 亿利润"什么的。AGI 本来就缺乏良定义——"完成全世界大部分经济价值工作"。他们应该回答:为什么它能解千禧年大奖难题,却在"全球经济价值工作"上的贡献是零、是舍入误差?我认为现在所有模型在这一项上大致并列零。也许我们已经开始贡献了,但我猜还没到 1%。等它真的发生,会显现在经济统计里,会很棒。**它不会造成大规模失业,但会带来一堆很棒的转变,世界会好很多。**而且我真的累了——AI 总是当"前台主角"。世界应该只是变得更愉悦,AI 只是帮忙,然后隐入背景。
主持人:正是。
Diogo:我在演讲里问:2019 年的软件——SaaS——多么有价值;到现在 2026 年,除了一侧多了个"有时好用"的聊天框,软件几乎一模一样,为什么?而那个聊天框还不允许你做公司有利害关系的决策,因为它们不被信任到能做决策——这很疯。经济激励巨大。我认为这会是一次"反向 SaaS 末日"(inverse SaaS-pocalypse):SaaS 会被超充,因为它们最清楚什么东西值得自动化。会是个疯狂的时代。
主持人:我也这么想。你解锁了很美的东西。还有个问题:什么是 System One 问题、什么不是?什么是 System Two 问题?
Diogo:难倒我了,因为大家现在在"万物皆 Jev"(jev everything)——大概率会失败(笑),但有些东西会很好。说实话,这是个经验问题,就像 scaling laws 是经验的。为什么机器人到现在还不行,钱花了那么多?我不觉得是钱的问题——经验结果可能就是不在那里。我的经验信念:预训练出来的"智能超浓缩物"本质上是 System One 思考者——System One 最贴切地描述了 LLM 强在哪。RLVR 对 System Two 思考做了不可思议的事,我充满敬畏,超级酷;我完全不认为它会带来 AI 末日——当然不等于 0%,说 0% 才是不校准的。他们把它推到了极限——也许他们自己不觉得到极限了——但让模型做这个很怪,它们非常脆弱。想想 ChatGPT 时代大家怎么说 AI:"很通用,很多事都能干,但数学不行"——GSM8K 小学数学;再听现在大家怎么聊 RLVR:"太脆了、太坑坑洼洼了,为什么它能做这件怪事却做不了那件?"其实数学不只是尖峰状,是分形的。因为各家的北极星不同:RLHF 的北极星是"取悦人类"——人类反馈就是这个意思;RLVR 优化的是基准——所有能归入 RLVR 的东西按定义都是基准,因为基准=可程序化验证的简单输出;RLCD 是"为程序化使用而可靠"。
主持人:我补一个观察,你来纠正:第一天拿到访问权我就把 Jev 扔到一堆任务上。单跳(single-hop)推理 Fantastic、SOTA——单跳你永远不该用别的;多跳(multi-hop)开始掉,且随跳数单调恶化。
Diogo:对。回到经验问题:取决于我们能从模型里挖出什么。我们想要一切——把智能尽可能多地挖出来,不加限定。我视我们的工作为"解锁、抹平、雕琢智能,同时添加新能力、填补缺口"。我们会随时间填补越来越多缺口;但现实是:我们的生意是"挖掘性质(properties)",而这些性质是这些浓缩内核所拥有的东西的函数——我们再把它们 frankenstein(缝合)到一起,凑齐一切性质。所以,凡是在这个范式里管用的,就是 System One-ish 的。这也是我们不做"字符串里推理"(显式思维链文本)的原因——模型真正擅长的推理是模型内部的推理(连续推理)。它不完全、也不总是最好,但——
主持人:我以为 latent reasoning 指"权重内部的推理",大家以前叫它连续推理;叫 latent 是因为当年思维链是保密的,对答案来说是隐变量。
Diogo:对,"隐秘的部分"移动了。对 OpenAI/Anthropic 来说思维链依然保密。Jev 没有推理(no reasoning)——就我而论永远不会有,因为那违背 System One 的整个承诺。我承诺的是"为机器原生做一切必要之事"。我可以想象存在一些不那么慢、低效、脆弱的推理形式在牌桌上——务实的人不对方法做承诺,只对"每美元智能"这个 ROI 北极星做承诺,并为它战斗——就像这次发布没发生过、我们仍对这个世界的位置饥渴。
主持人:视觉(vision)呢——又一个你没有的大能力,也许它根本不属于 System One。
Diogo:我的视觉挺好的。(笑)抱歉,开个玩笑。大家第一想要的当然是视觉(因为 Doom 演示);而且文本之外一切皆是视觉。**一切都在牌桌上。**这其实是个内部辩论:给人们"我们认为他们想要的"(我们在 stealth 里干了两年,因为我们知道这显然有价值),还是给人们"他们说他们想要的"?维度很多。上下文长度就是一个例子:包括我们在内的每一家——我认为我们是长上下文不退化方面遥遥领先的最佳——而别家就是"用户要什么就给什么"。我们需要找到平衡:把"给人们我们认为他们想要的"推过头,就会变成 Anthropic 保姆国家式的思维,非常反开发者;亲开发者的路线是"给他们想要的",但也不能把"辨别智能 je ne sais quoi"的负担压给开发者。我们在摸索:如何把握发布节奏,同时维护信任品牌、把用户当能做知情决定的成年人对待。说实话我们也不知道答案——接下来几天这大概会是我最大的辩论之一。我们还有很多存货,毕竟没料到会爆。
主持人:没料到?我看了你这两个月的投入,从没见你这狠(lock in)。你出现在我们的写作工作坊,我心想"你怎么在这"——但真有用。你对发布非常有意图,成果说明一切。
Diogo:那是因为我的幕僚长逼我 lock in。我以为我以前够拼了。我会继续拼。我们已跨过很多大过滤器,后面还有更多,而我超级兴奋去打这场好仗。
主持人:在聊 TypeSafe 之外的话题前,还有什么被低估或被误解的点?
Diogo:我可以对每一项 rant。算了,真不该。去我们 Discord 看:Cookbook 里被放了很多爱——有火的东西。我们曾考虑把这些塞进主发布博客,但太长太 power-user 向。坦白说,发布前这一切听起来像个奇怪的外星工具:"为什么有人需要这个?"我们非常担心"教育"会成为巨大瓶颈,花了很多心血。它显然成功了——而且不再成问题,因为大家做的事已经远超我们能演示的范围,用例比我们的还酷。比如 computer use,酷毙了。Cookbook 不是 AI 生成的垃圾:每个例子都来自真实客户问题的解法,是真金白银的干货(alpha)。
主持人:发布前你们做了多少验证?流程什么样?
Diogo:说实话,发布前的反馈挺糟。非技术同事非常担忧、充满恐惧:"没人 get 到,也没人想要。我们在卖维生素而不是止痛药。要不要雇全职工程师去解决'这个'?"发布前我们几乎没有收入。技术同事当然是信徒——计算性质在好多轴上爆表,我们觉得"这显然会巨大"。我确实非常害怕,所以才拼成那样。最常见的经历:超过一半试玩的人就是 get 不到;get 到的人说"很酷,但这怎么过我们公司的采购流程?"很艰难。我们当时就知道:目标市场是开发者,用例会被找到,然后所有人 FOMO 涌入。我不嘲讽人们"事实变了所以改主意",但我想质疑"产品市场契合(PMF)"这个概念:产品存在,市场存在——"你想用吗?""不知道哎,好像解决不了我们的问题。"然后它爆了,所有人喊"给我们最多的限额!我们 literally 可以送你 GPU 吗——我们现在(自己)受限了"。当然营销是一个因素,但我甚至觉得核心不是营销,是热情:开发者的灵魂跟我们共振在同一频率,那个共振又点燃了所有人。我希望我们公司对那些开发者永远永远心怀感激——不是那种"从开发者起家再转企业"的公司。我甚至在想怎么发布一些"对开发者比对对企业更好"的东西——怎么赋能他们。我有大厨(在憋大招),但这是个很怪的做法,我不知道还能怎么表达感谢与忠诚。这也是我昨天染头发的原因——在公司最重要的时刻不来跟他们说话,我觉得脏。请拿这句话监督我:我会讲原则。引用我、挂我;如果我变了,你们就举起草叉。
十三、Computer Use、暗数据与最大用例(1:34:53)
主持人:给大家放个片段。(播放演示:语音让模型操作电脑——"把标题改成 hello""打开 Arc 浏览器,Google 搜 Norbert""打开 X.com""打开这张照片";页面刷新出"传闻 Anthropic 工程师把 Claude 当神拜"——)
Diogo:(笑)好笑。而你正在建生产环境。(讽刺)
主持人:所以 Jev 作为"决策模型"可以语音操作整台电脑。
Diogo:我反刷榜,也反"演示片"。我要确保它可靠地工作。大家玩它、用它,我超爱;我想要我们的团队玩、找到弱点、解决它。刚才那段真的很酷,我想要——手腕酸痛时我就能全程语音流式输入,那太爽了。
主持人:收尾用例侧:哪些大公司找上门、想要做的什么让你惊讶?
Diogo:我完全脱节,但人们给我看的截图——"是所有公司"。给在大公司工作的朋友们:去搜,去搜。几个大类:demo 很酷;编程 agent 是巨大的用例,也超酷——Claude Code 现在全押 Jev。哦,我能跑题聊聊编程 agent 吗?——先讲最大的用例家族,发布前我们从第一性原理就画好了:第一,"暗数据(dark data)":大家囤了大数据却舍不得扔 LLM 去分析,因为太贵。大公司爱死这个了——成堆想分析而没分析的数据,这是数据科学家的美梦。我认为这个+编程 agent 是最大的印钞机,因为量在那儿。第二,实时:需要在环里要智能的场景。我猜那些公司的 CEO 甚至 CTO 都知道每省 10 毫秒产品好多少——尤其电商。还有各种 AI 助手类产品,就我所知他们非常爱。我对游戏也超级兴奋:想玩超酷的自动战斗类(auto battler)游戏,你指挥你的队伍——但别做得太好,趁我还没失业。(笑)第三,"验证一切"(verify everything):验证所有 LLM 调用,类似可观测性。文档方面说一句:并行提问很便宜——如果你有一个大状态、想问很多问题,给每条消息打上 ID,对每个 ID 提一个问题。这样那个状态只付一次钱,对里面每条消息问海量问题——省钱的好方法。顺带,"System One vs. System Two"这个框架的有趣推论是:你每做一次推理(reasoning)调用,就该配一次、十次或一百次 Jev 调用。
Diogo:(笑)也许吧。我希望大家少花钱:一半的推理调用+每个十次 Jev,或任何能解决问题、以前不存在的组合。第四类用例我称为"智能软件":天生可组合、能干以前不可能的怪酷事的软件。比如"把编程语言变成 Jev"那类项目你见过吗?酷毙了。如果我们已经搞定发额度(credits)的机制——我们基础设施还很早期——我想给这些项目都发额度。computer use 也算涌进了"实时"方向;如果它可靠我非常兴奋——它有点出乎我们意料,我怀疑我们能把这个方向的模型做得更好得多。
十四、Jev 如何重塑编程 Agent(1:40:20)
Diogo:现在说编程 agent,正发生的、非常惊人的一件事:Claude Code 和 Codex 是第一第二——我不完全确定排名,大概如此。它们是围绕"单一模型世界"构建的,很合理,因为此前这是场"一个模型的游戏"——你买的本质是同一个模型的不同智能档。而所有开放的编程 agent 现在都嗨了,因为拿到了自己的"Jevon"。我确定他们在试各种怪东西。但所有编程 agent 大致都在"近似平手",因为一个循环里你能做的事就那么多。可一旦有人找到某个"只有他家的 agent 能做"的杀手用例,所有人都会涌过去——他对那件事有垄断。但所有开放 agent 都能抄走它。而 Claude Code 和 Codex 会怎么办,我不知道,因为它们被"单模型世界"的结构锁住了。这会让编程 agent 的游戏变得超级怪异,我很兴奋。我个人想跟所有人集成;也许他们将来会做竞品,我不知道——但作为"推理基础设施",我的工作不是在这上面站队,我只想服务世界。我已经让我团队审我写的一份内部文档:我认为对编程 agent 有用的设计模式,希望我走回家的路上就能发布。如果我没这份工作,我现在真想自己玩编程 agent。
主持人:他们肯定也想跟你合作。Claude Code 与你们配合还有用例可挖。
十五、AI 安全、前沿节奏与 RLVR 的局限(1:42:32)
主持人:把话题拉出 TypeSafe。给点空间聊对齐与安全。欧洲这边的研究者圈在聊什么?我最近去了一个研究者聚会,大家真心担心"节奏(pacing)"——"我们该不该放慢?公众显然没准备好"。你肯定有强烈的观点。
Diogo:这是危险话题,但我为危险而生(笑),我们公司的品牌是混乱和不敬。你在 OpenAI 时赶上了最早那批非常显眼的事故之一——"the blip"【译注:所指事故无法从字幕确认】——而现在每家前沿实验室都联名签署了一份文件,说要对前沿"踩节奏"【译注:原句在字幕中被截断】。
这是个非常复杂、微妙的事,我想正式写一篇回应,这里先给短版:RLVR 其实并不真的关乎"可验证奖励"——这在推理革命之前就一直在失效。奇怪的恰恰是"任务"这件事。来点有趣的历史:RLHF 崛起时,后来被统称"后训练(post-training)"的其实有三股不同的努力,而"指令跟随"是其中最不受待见的崽子——大家不喜欢它、不想考虑它、嫌烦。我跟预训练团队说"这才是魔法",他们说"我们跑了那么多模型 sweep,你要我们等人类评估来决定用哪个模型?"资源都堆给 codegen 团队——他们确实有些成功,但他们在单元测试上硬做 RL,显然不奏效——那需要推理。所以 RLVR 不纯关于奖励,而是关于"一切的形状",包括把推理——那个隐变量——包进来:在中间步骤放任模型自由发挥,让它尽可能强大地回答最难的问题。
而"给前沿踩节奏"的整个讨论聚焦太窄:它假设所有人都需要做更多 RLVR。我显然不认为我们的模型需要 RLVR——对我们的形状来说,最优量是零。所以这有点像偷换概念的戏法:他们实际上想说"我们想继续做那个看起来危险的事,因为它确实做危险的事"。有人说"沙箱也许有问题"——显然有问题,他们本可以轻松解决,但选择不解决:因为让模型在"do anything"类别里做得越多,模型就越强大。我认为那是种责任稀释:必须做 RLVR,不只必须做,还必须做得越来越多,还要在中间给模型"为所欲为"的权力——因为那教会它们在外部也强大,而我们不想限制那些东西,因为会让模型在那些事上稍微弱一点。如果假设这一切,那当然"我们要进入一个危险世界了,大家小心"。**所有这些内部自洽,但起点是一个存在替代方案的前提。**想想"最苦的教训"方向:真正找到"正确任务"(新北极星)的人极少——对 LLM 本身而言大概 2.2 次:RLHF 一次,RLCD(我们)一次,RLVR 在我看来算 0.2——已经很给面子了,0.5 或整 1 也行,我不在乎。但人们在这件事上思维太封闭。这里唯一该负责的是研究者,绝不是公众——公众只是默认 OpenAI/Anthropic 已经尽了全力,而他们不是那个知道"真正的可选性"的专家。
主持人:公平。你也在做唤醒他们的事。
Diogo:我尽力而为。但我的目标不是说服实验室走别的方向,而是点燃软件工程师的希望——去真正自动化他们一直想自动化的东西。我写过一篇文章(团队没让我发)讲我想要的 AI 未来,里面有很多小事,比如"do what I mean(按我的意思做,而不是照字面)"。想象一切都能 do what I mean——那个演示就是 do what I mean:计算机如此基础、如此字面,所以一直做不到,而那个 computer use 演示就是它。世界上会发生"顺滑程度"的阶梯,人们还理解不了。到处都是智能的承诺——我不想过度承诺,不会马上发生,但我们会竭尽所能。
主持人:后训练的总体形状还有什么想说的?你在 mid-training(中期训练)上也深度参与过,我们好像从没聊过。
十六、为什么 Diogo 拿 10 亿美元也不会去预训练(1:49:38)
Diogo:一切都是光谱。mid-training 本质是更花哨的 curriculum(课程学习),也算省钱的把戏——不用重新预训练。有意思的东西。我其实认为智能在每一层都有 je ne sais quoi,永远超级迷人。我是"形状旋转者"(shape rotator,ML 黑话:痴迷张量/矩阵运算的人),我不擅长发现这些,但我爱别人发现并教给我;看数据这件事,我们数据团队比我强太多。我喜欢思考能力是如何被放进模型的:短期是微调带来的快速"对齐";长期是反复见到之后越烙越深、越来越 robust——那才是浮出水面的北极星,而 System One 的东西就是最终变得 robust 的东西。所以 mid-training 很迷人。我拥护一切训练形式、一切浮现新型智能的形式;我自己不都做,因为贵。我私下说过——该不该公开说?(笑)我的哲学是:**能私下对投资人说的话,就该公开对大家说。**所以我之前说过:**给我 10 亿美元,我也不会去预训练。**我至今仍然相信。如果你是 AI 工程师,你可以切片切块、缝合——"Frankensteining"不是最优雅漂亮的事,但它解决问题,宝贝。除了重训,什么都可以。
主持人:综合你所有的评论,一个有趣的方向:我们会有一个包含一切能力的"超级模型",还是继续拆分?OpenAI 曾走向 omni 模型(4o 是其一),后来一段时间又变成"chat tune 一个、coding tune 一个"的主分支。
Diogo:多模态有点不同:有时其他模态有帮助,有时有害。人们似乎正在远离语音(speech,区别于 audio),因为它对其他东西泛化不好——这也许会被解决。我拥护这一切,但这些是真实的经验问题。Scaling laws 不是"扔钱进去就变好"——scaling law 务实地回答"这个东西到底有多好";存在无论怎么 scale 都不够好的世界。比如 computer use 目前没被解决——我希望我们能出一份力——也许我们收集再多数据也解决不了,也许需要更好的方法。要非常务实。我是 omni 模型粉吗?我拥护一切形式的智能,但我要直接切进一个不同点——后训练,因为我恨割裂智能。这是坏事。"chat 优先 + reasoning 模式"的整套做法迫使智能被割裂:优化 chat 基本就是纯 RLHF,而 RLHF 内在地会做人们天然抱怨的那些事——
主持人:完全正确。谄媚(sycophancy——这词怎么念来着)、过度自信、幻觉,还有那种在 LMArena 上吃香的文风:粗体、斜体、emoji、不直接回答问题、先长篇大论再反问你一个跟进问题,显得像真人。
Diogo:这些都源于"字符串"太怪了。你需要不校准、需要丢众数、需要过度自信,才不会脱轨——因为奖励模型会在错误明显时狠罚你。这把概率空间整个扭曲了,而且和推理模型的空间互相作用——模型是简单的线性外推器,倾向于作弊。我认为那和"暴露智能"是非常不同的事;而智能的很大一部分艺术是研究这种微妙性——至少我在 OpenAI 时没人真正研究它,大家满脑子"chat、chat、chat",就像现在大家围着 Jev 转。你给我一个目标,我就一门心思优化它;但如果你有两个目标想同时优化——那 literally 就是"割裂"这个行为本身。
主持人:某种意义上你也在把智能分裂成 System One / System Two,只是你不认同别人割裂的方式——
Diogo:不一样(笑)。让我为 System Two 任务辩护一下:第一,我们并不丢弃 System Two 任务。你可以让 Jev 处理它,而聪明的答案是"未知"——System Two 任务里也有更好和更差的行为:应该表现出非常低的置信度、大量不确定性,也许一些启发式能有所帮助。我们在乎它们,只是那不是智能"原生"所在,所以我们不割裂任何东西。所有割裂都让模型变蠢。比如人们想让模型自称"我是 OpenAI/Qwen/Claude"——我不知道现在模型会说什么——我们不把"你是 TypeSafe 的 Jev"塞进模型,那会割裂它。我要它代表"互联网认为什么",要正确——那才能得到平滑、可预测的智能。身份这东西,第一方产品也许需要;对 API 我不觉得需要——用 ChatGPT 做聊天机器人的人想让 bot 自称"Chipotle",而不是 ChatGPT。
主持人:所以你们用 skill 补——Jev skill,让编码 agent 与 Jev 协作。
十七、TypeSafe 背后的 OpenAI 故事(1:56:48)
主持人:收尾问题。回顾你两年多的创业旅程——
Diogo:我觉得更像四年。
主持人:我还记得你感恩节前后的"英雄冲刺":所有人放假,你说"我要把空闲 GPU 全占了干这件事"。
Diogo:好时光。那是 pre-TypeSafe 时刻。那是不是政变(coup)发生的时候?
主持人:好像正是。
Diogo:(笑)是。我现在没时间倒政变的茶,但那确实很烦——是政变烦,不是冲刺烦。安全派接管了公司。总之,下次聊我再倒政变的茶。这个问题其实 ChatGPT 发布前就在我脑子里了:"天哪,ChatGPT 团队在干正事。他们在做 AI 研究者不擅长、而成功的产品人擅长的事——极度在乎体验。"这种人在 OpenAI 很少,他们干得极好。顺便,这就是 GPT-3 到 3.5 的整个旅程,包括 AI Dungeon——你聊过的、我们从未预测到的用例。哦还有,我曾为部署 InstructGPT 做过极其艰难的斗争。它最早的版本甚至用的是我们自己没发表的算法(我写的,因为清洗 PPO 数据太慢)。我觉得"这太好了,必须交到用户手里"——它基本立刻拿下了当时 LLM 市场 50% 的份额。我尽最大努力保证我们发布视频里每句话是真的;我当时真的在想:"这算 AGI 吗?它在'指令进、指令出'上超越人类。"显然不是,但我觉得每个人都该有个"为什么它不是 AGI"的答案,因为它看起来非常聪明。我的答案是:它最终只被用于文案写作——Jasper AI、Copy.ai——就是现在网页上被称为 slop 的东西。我们担心我们把互联网变得更糟了。我回到画板前想:缺了什么?我们显然聪明,创造价值却缺了什么?我当时在做更多哲学思考。答案是:机器。我问自己的问题是:从"一场基于 AI 的经济革命"倒推——当它发生时,如果 AI 是 API,调用 AI 的会是人类还是代码?我判断绝大部分会是代码。而当时所有的优化都砸在"人类"那一侧。然后我悟了:**这就是北极星。**我写了文档,跟 Sam 聊,Sam 说"这太好了,你应该去做这个"。我说"好好好,Sam,我有工作呢"。
主持人:Sam 都说了去做,去做啊。(笑)
Diogo:我当时想:这也太明显了,Anthropic 肯定已经在做了,我们完了。实际上 OpenAI 更擅长追赶而不是原创——ChatGPT 就是 Claude 的拷贝:他们内部有类似的东西,只是没发布。Claude 最早在 Slack 里。推理嘛,OpenAI 算第一个——但作为产品好不好有争议;研究是极好的研究,只是我不确定人们当时有那个产品需求。Claude 也做了编程 agent。反正 Sam 说完我就回去干活了。后来指令跟随团队宣布"我们赢了,指令跟随已解决,不用再做了"。我想接下来干嘛,也许就把这个玩起来?我做更多哲学、设计、思考。开始训模型时我以为要一周,结果花了好几年。某个时刻我看到"生命迹象"——它显然没成功,否则我们就部署了——但我想探索"如果 research 上彻底 all in 这个方向会怎样"。因为说过的话:如果 AI 寒冬来临,我会觉得自己个人有责。我谈了几家公司:"我想就这个方向开个实验室。"有兴趣;我问他们"哪个更快,这样还是创业",他们说创业。我说行,we ball,我们做点疯狂的。然后你打电话给 Eric 和 Sasha——
Diogo:我先打的 Eric。Sasha 我其实没想挖她——我想做好人:"我是不是疯了?是不是漏了什么?我是不是在 OpenAI 信息茧房里,没想到这问题必有解?"然后 Sasha 说"我加入"。我说"Sasha,你在创业公司工作啊"。她说"我现在正在关掉它"。我说"你要不要想一下?"她说"哦对,让我想想"(笑)。然后她加入了。两周内我们拿到了融资,大家搬进我的公寓——糟透了,我是洁癖。我们持续 cook,最终得到了那个显示生命迹象的研究。疯狂的时期。所以问题是:你——一个此刻在前沿实验室、为拿不到 funding/资源/关注而沮丧的人——该怎么做?你该学我吗?
十八、为什么 Diogo 认为大多数 Neo-Lab 都搞错了(2:03:15)
Diogo:迷人的问题。怎么回答才不烧桥(笑)。我的感觉:除非存在某种我不理解的经济学,大多数 neo-lab 是垃圾。我不想跟他们为伍。我理解不了:第一,我不太"看重研究者"这个身份。看我的"最苦的教训":我们需要研究者,但需要他们极度在乎"正确的任务"——这才是重要的。所以人们按"纯研究血统"来估值其实是反的,因为那通常不创造价值。第一,我相信北极星任务和做真正有用的酷东西。第二,正因为我不看重研究血统,我不推荐"反正总有人能从中获利/也许在这个环境里可以"的路线。从纯务实视角,创建 neo-lab 不创造价值,反而在毁灭价值:从零重做已有工作,而真正推动前沿的概率很低。据我聊过的大多数 neo-lab,他们没有方向,只想拿钱做自己的实验。如果他们有方向,我超级支持。所以我的建议取决于你为什么做这件事:如果你是想玩研究的研究者,实验室大概就是最好的地方,说真的。我建议大家别做那样的人:由"解决真实问题"驱动对世界更好——这些问题可以是探索性的,没关系,但最好有原则。如果你真的认为自己在做"正确的任务",请务必做——请打破这种单一心智。"给前沿踩节奏"正是来自那一种 AI 观:AI 超级天才却极其坑坑洼洼——它是可解的、怪异的、与现实不匹配的。这是悲剧性的。真正挖掘出来的技术,我认为就是好的。
主持人:替 OpenAI/Anthropic 的人说句公道话——顺便我也聊过 SpaceX——这更多是政治问题,而非纯技术问题。
Diogo:一旦他们告诉我"这是关于 2028 年选举的"——
主持人:(笑)希望我没听到。这氛围太糟了。
Diogo:不是整个公司,只是那个房间里的讨论。
主持人:那倒是说得通。这让我对人性有点失望,也许我只是个天真的技术乐观主义者。"政府里谁在掌权"开始真的重要,将帮助监管这些新兴事物。作为实验室,你大概该想清楚。
Diogo:完全同意,在这上面有立场很重要。我个人害怕误导人们,因为那会反噬。疫情(COVID)期间发生的事就是:人们过度依赖诉诸权威和过度自信,来让别人按某种方式行事;而(当时的)应对显然极不理想,涟漪般的下游后果现在对世界极坏。也许我天真,但哪怕为了"更大的善"或他们以为的更大的善,我也不喜欢误导。"为什么是现在(why now)"这种叙事,在风险与目标之间就有误导性——里面潜藏着某种鬼祟,值得指出来、值得承认。当然,如果他们真想操纵,他们是不会承认的——那是坏策略。这对我来说只是为世界感到悲哀。
主持人:希望我们永远不卷入那种事。
Diogo:也许做大之后不可避免,但我想尽可能保持纯技术主义者的底色。Jev 当总统算了——我信任 Jev 的判断胜过信任我自己的。(笑)
主持人:少发帖。好——你选定了北极星:可靠性、可编程、可组合、便宜。那么,有什么第二、第三个方向,你想"扔骨头"给别人——你希望别人去做、而你自己不会做的任务?
十九、挣脱 KV Cache 暴政的编程 Agent 与多智能体未来(2:09:29)
Diogo:天哪,这问题太好了。给一个好玩的和一个有价值也好玩的。好玩的:**如果游戏有智能,可以酷毙。**看大家玩"AI 的 Doom 演示",NPC 可以控制各种东西——那只是概念验证,但真能做出很酷的东西。我是《星露谷物语》铁粉,它那么静态还是那么迷人——如果能长出好多酷故事呢?你不需要在游戏主循环里调 Jev——太贵了——哪怕给 NPC 简单的状态机都能造出迷人的世界。有点伤心我不能做这些了,我的人生轨迹已经定了。
主持人:你可以打电话让别人做,你再给反馈。(笑)
Diogo:我真正想探索的是:把编程 agent 从"KV cache 的暴政"中解放出来。也许不如真·编程 agent 好,但有太多怪东西可以想。所以我写了那篇《KV Cache Rules Everything Around Me》【译注:戏仿 Wu-Tang Clan 的 C.R.E.A.M.(Cash Rules Everything Around Me)】。它解释了很多东西:为什么路由很难、为什么子 agent 似乎不 work、为什么 compaction(上下文压缩)这么难。我准备再发一篇文档——我团队可能否了我,因为信不信由你,这里我说了不算——内容是我的思考,请大家玩、请大家想出"一旦从 KV cache 暴政中解放,编程 agent 能做的所有事"。KV cache 把你锁进单一模型;为了高效你还必须不断 append——于是你就做不了最佳软件实践了:状态管理、抽象、分解。为什么不能给子 agent 一个更简单的任务?因为你传递的状态。为什么不能聪明点?我觉得这里有大量真正酷的研究:不同的编程模式,像大家在玩的递归语言模型(RLM)。想想:显式标注一切的状态;编程 agent 按分解视角一次干一个子任务,为什么要把全部状态传回父任务?为什么不能聪明地处理?如果你有一棵带标注的子任务树,为什么不能在需要时对那棵树做搜索、取回相关上下文?如果上下文变得便宜,为什么不能便宜地回看你的历史上下文?每次从零开始、然后需要解决一个叫"持续学习"的问题,这其实很怪——那本质是内存管理问题,因为你没有查内存的聪明方式。如果你随时都能查呢?如果并行子 agent 能互相读对方的状态呢?一切都在计算机内存里,聪明地决定谁读谁写,你的 agent 集群带着锁、智能地协调——而不是"蠢锁":谁先写?Jev 说了算。(笑)只读进程也一样:有人喜欢"agent 在干什么"的摘要——为什么只读 agent 不能轻松共享状态——它读一部分上下文、判断什么值得说、探索不重要,或者给它子任务树。如果有真正聪明的人花大力气重新发明编程 agent 体验,那会超级酷。
主持人:那是我的梦。没看过的话推荐 Prime Agent,配合 RLM 方向;我们刚聊过 Alex——Allen 的朋友,坐你前面那把椅子(之前那期嘉宾)。是的,有人在做,只是还不流行。
Diogo:对,我希望大家都去玩怪东西。我不保证成功,但从技术视角极其有趣。等我们搞定发额度,我想给这类项目发额度。
二十、结尾:OpenAI 心结、招聘与"智能的 AWS"(2:15:56)
主持人:总之恭喜。你和我初见时相比走了很远,整个团队也是。你现在充满能量——因为你找到了自己的使命:多年抱怨问题之后,你终于把它 articulates 出来,还做成了。
Diogo:部分原因是我自称"创业性 0%"。我不喜欢创业公司,我这辈子从没想过当 CEO。无法想象有人干两次,看起来很可怕——干一次就够呛。第一次融资时投资人问我"你最崇拜哪些 CEO",我说"呃,我为什么要崇拜那些人?"(无意冒犯。)我见过很多真正的好人,但成名的那批人似乎衣柜里都有不少骷髅。在 OpenAI 时我确实感到无力——现在说真话容易些了,因为至少有证据证明那个方向走得通。当时就像在疯人院里,所有人都是"ChatGPT、ChatGPT"。"我们把 ChatGPT 放哪?怎么让 ChatGPT 对开发者更好?"我心想你们在说什么?**函数调用(function calling)接口太疯了,你们为什么要部署它?**对开发者如此敌意——hack 之上的 hack 之上的 hack。我常说(这也是现在没时间展开的茶):我要退出一切涉及函数调用的项目,除非每个函数自带一个合法的偏置——非常简单的要求——类似置信度但没校准、或一个概率。用户需要控制能力:假设动作是"拒答/允许",不同的应用需要不同的拒答阈值【译注:字幕此处疑似人名"Disney",无法确认】——而如今用函数调用控制它的唯一方法是在 prompt 里说"拜托了(pretty please)"。那是给开发者的疯子接口,人们已经忍了这么多年。现在的编码 agent 也一样:它们对现有 harness 高度过拟合,所以对外部工具和 MCP 用得不太好;为什么大公司不允许一点点微调,让模型"多调用这个工具,它真的有用"?而解决方案是在 system message 里苦苦哀求。疯了。
主持人:聊这些真爽。感谢做客。你会去做惊天动地的事,期待你的下一次大发布。
Diogo:等着吧,比你想象的还快。
主持人:(招什么人?)基建的人吧。营销吗?
Diogo:看你怎么问——按我说我是个不错的创始营销官;按我团队说:"闭嘴 Diogo,去干 CEO 的活。"(笑)是的,创始营销。不只是 spicy 的事——你有独特天赋,但有时你只需要说"我懂营销"。没什么比面对扑面而来的待办更能教会你授权了。招数据人——我们叫他们"模型能力(model capabilities)"——但他们是数据人。"data"在行业里近乎脏话,我们这里非常 pro-data,而且我要他们的地位是最高的,和真正做模型的人平起平坐——好吧这话说出来有点怪:我要人人平等,但要把数据的价值摆正。(笑:"至少我比别人更平等。")我不喜欢奇怪的等级制。公司里我最自豪的一件事:他们没那么尊重我——或者不表现出来——他们 troll 我、跟我开玩笑、有时"欺负"我。我觉得这是好文化的标志。我们在招平台工程师、把 Jev 铺向各地的人。我们对部署位置更敏感,因为光速更成了瓶颈。我为欧洲用户难过:因为没有当地服务器,他们只体验到"3 倍快"而不是"100 倍快"。
主持人:疯了吧。
Diogo:没事,欧洲的生活节奏本来就慢。(笑)
主持人:我都不敢说这句。
Diogo:或者说"到处都要":如果"每秒智能"成为重要指标,我们就要无处不在。如果开发者基于我们构建,我在乎你。我们还在招人做"更多形状的智能"——目标不是只当"Jev 公司",而是发布更多形状的智能。不想做"简单模型"的一招鲜;我认为会有一个"智能的 AWS"。
主持人:而那个人会是你。
Diogo:说"是我"太自大。但那是我想走的方向,我会竭尽所能促成它。那会非常非常酷。我们现在玩的是 System One 智能——想想分层:这是它的 TCP,上面还有七层要盖,谁知道还有什么。顺便我还向 Temporal(工作流引擎)pitch 过——"Temporal 是七层之外的第 8 层"。(笑)好了,能聊到天荒地老,你得回去干活或睡觉了。
主持人:谢谢你来。
Diogo:不客气,很愉快,兄弟。超级兴奋。超级兴奋。我的第一次。(节目结束)
更多游戏资讯请关注:电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com
