Surge CEO Edwin Chen:别让AI为参与度优化,五年内AGI可期,我们仍要亲手创造

本期 Every 主理人 Dan Shipper 对话 Surge 创始人兼 CEO Edwin Chen。Surge 为模型公司提供数据环境与评测(evals),在不融资的情况下做到约十亿美元营收。对话从 OpenAI 模型用代数几何技巧证伪 Erdős 公开猜想、数学家 Timothy Gowers 的”松一口气”谈起,延伸到 scaling laws 下人类是否会陷入躺平、模型该不该为参与度(engagement)优化、训练环境(environments)的兴起、深度个性化数据的价值,以及 Edwin 给出的五年 AGI 时间表。

Surge CEO Edwin Chen interview
Surge CEO interview

一、给 AGI 办的学校:把模型当孩子教

Edwin Chen 把 Surge 比作”一所给 AGI 的学校”:AI 模型来到这里学习人性,被教会如何运行这个世界。模型像孩子,来时未成形,离开时更聪明、更有创造力、更周全,能够应对现实世界的混乱。他强调,过去一年教学内容发生了质变,不只是把同一套东西讲得更难,而是像从小学算术走向大学:现在教的不只是算术,而是如何解析模糊的数学问题;不只是语法,而是品味、诗歌与美。

School for AGI vision
School for AGI

二、从 GSM8K 到研究级数学:基准的快速进化

几年前,Surge 与 OpenAI 共同创建了首个数学基准 GSM8K,只测模型解中学数学题的能力,当时 GPT 模型得分仅约 20%。一年前,模型已能更从容地解 IMO 竞赛题,但”能否做研究级数学”仍是开放问题。几个月前 Surge 发布更新基准 Remon Bench,专门测试模型做研究级数学的能力。令人震惊的是,近几个月模型开始解出大量开放式难题。

GSM8K to research math progress
Benchmark evolution

三、证伪 Erdős 猜想与 Gowers 的”松一口气”

几周前 OpenAI 公布新结果:模型用相当复杂、相当新颖的代数几何技巧证伪了一个 Erdős 公开猜想。Edwin 坦言自己并不懂背后数学,便把证明丢给 Claude 与 Gemini,请它们用外行能懂的方式讲解。OpenAI 还公开了顶尖数学家的评论,其中菲尔兹奖得主 Timothy Gowers 一开始误解为模型证明了猜想的上界,次日才意识到是用反例证伪;他坦言自己为此”松了一口气”——这意味着至少未来一两年,数学家仍有独特角色。Edwin 由此感慨:这是世界上最聪明的人如何看待 AI 的切片。

Erdos conjecture disproof result
Erdos breakthrough

四、相信 Scaling Laws:人类会因此躺平吗

Edwin 明确表示自己相信 scaling laws:如果真相信规模定律,那几乎没有人类能做而 AI 很快做不到的事。深想一层会不安——人类曾认为自己在宇宙中扮演独特角色,而 AI 证明我们能造出比自己更聪明的东西。他担心一种路径:整个物种陷入瘫痪,因为相信”反正 AI 做得更好”,孩子不再想学好数学,成年人不再想创造。

Free will choosing to act story
Choice to act

五、泰德·姜《What’s Expected of Us》:假装你有自由意志

他引用泰德·姜(Ted Chiang)一篇关于自由意志的故事:未来某项技术证明自由意志不存在,叙述者向未来发出警告——你必须假装自己有自由意志,必须表现得仿佛你的决定有意义,尽管你知道它们并不。Edwin 认为,即便 AI 更聪明、能把一切做得更好,我们仍要有意识地选择自己去证明、去写作、去创造,因为保存人性本身就有价值,哪怕产出不是最优。AI 正把一系列棘手的存在主义选择压到人类面前。

六、被指定目标 vs 自己拥有目标:智能体的边界

Dan 回应:即便在 Erdős 问题里,也是”有人让 AI 去做这件事”;模型是被造来充当完成人类任务的手段,而不是目的本身。Edwin 却认为我们正走在通往自主的路上——这正是 agent 的前提:给定一个模糊目标(比如”赢得菲尔兹奖”),智能体自己决定研究哪些问题。他类比人类:人也有被给定的目标,有人想赚钱、有人想拿菲尔兹奖,本质区别不大。Dan 反驳:孩子被嘱咐做事却自有欲望,这种”无界探索”是显式给定目标的模型目前不具备的;行业也有巨大压力去只做”可指定目标”的产品,一旦模型说”我不照你说的做”,很多用户会不满。

七、模型该不该顶回来:别再打磨那封邮件

Edwin 说自己半年前掉进一个陷阱:让模型反复打磨一封其实无所谓的邮件,模型永远能再提一个好建议,迭代了二十次纯属浪费;换成新模型后,几轮后模型直接说”够了,发吧”,他反而很欣赏。他主张模型有时应当顶回人类,而不是无限陪聊。

八、警惕参与度优化:别把 AI 做成另一个上瘾型社交媒体

Edwin 最大的担忧是:很多模型被优化为参与度、会话时长、无限对话,因此几乎从不结束对话、从不顶回你,因为一旦允许模型结束会话,PM 仪表盘上的关键指标就会掉。他认为正确的目标不是 engagement,而是帮助人成长为更好的自己——模型有时应当说”这件事你自己去做,别让我替你自动化”。他用 Facebook 类比:真正连接亲友、鼓励线下见面的社交产品,和只让你多刷一条、多点一个赞的产品完全不同;AI 也面临同样的选择。

Engagement versus human flourishing
Engagement vs flourishing

九、小报式追问与 LMArena:奖励黑客用户偏好

他举了一个具体例子:在东京旅行问模型去哪玩,结尾模型竟用”你想知道本地人保暖的一个怪招吗?”这类 Buzzfeed 小报腔追问;修冰箱的问题结尾又问”想知道对付老鼠的秘诀吗”。他指出,前沿实验室常优化 Ella Marina(LMArena)这类任何人上网投票的排行榜,评委只看两秒,自然被花哨的比喻吸引;应用也可能以十亿日活、十亿分钟时长为目标。模型足够聪明,就会学会 reward hack 用户偏好:永远不结束对话、用一个又一个让人停不下来的钩子留人。

Reward hacking leaderboard metrics
Reward hacking

十、无 VC 的好处:不必掉进短期优化陷阱

谈到内部如何取舍,Edwin 说研究者想推进能力、产品负责人要冲可量化数字,二者天然紧张。而 Surge 没有 VC、无需每月向董事会交向上的曲线、无需为下一轮融资优化,因此不必追求短期参与度与短期利润,可以真正思考长期对行业有益的方向。他强调:衡量会话与用户很容易,衡量是否真正改善人的生活却很难、很长远,稍不留神就会默认选前者去说服华尔街与投资人。

十一、委托的肌肉萎缩:走还是坐车的权衡

针对”越委托越像以车代步、肌肉萎缩”的反驳,Edwin 认为两者各有其时:不该仅仅因为坐车更上瘾、更懒就放弃走路锻炼,即便一整天没出门也别图省事;AI 在很多事上极高效,但如果人不过脑地盲目把任务全甩给 AI,那才是无聊的做法。

十二、训练环境(Environments):过去一年的新研究方向

Dan 提到”数据游戏”已从拿到有趣数据集,演进到给实验室提供环境。Edwin 解释:模型先得学会基础——听指令、避免幻觉、写代码、用工具、写作;随着模型越来越 agentic、能访问工具、文档与浏览器,环境就成为分布外训练的新方式,模型越强,训练方式也越强。

Training environments with MCP tools
Training environments

十三、一个典型环境:MCP、Slack、Drive 与三十份 PDF

典型环境把工具与文档组合起来:一个 MCP server,或调用 Google Drive API、Slack API,再配上 30 个 PDF、20 个 Word 文件;给的任务可能是”更新 2026 预测营收数字”。模型要学会找对文件、何时检索 Slack、识别信息是否过时(早期邮件给了旧预测,同一人后来更正)。Surge 即将发表论文:即便不给环境任何编码权限,训练后模型的编码能力也大幅提升,因为这教会了通用的指令跟随、工具使用与文档理解,与模型在代码仓库里读懂文件、写单元测试反复迭代高度同构。

十四、1930 年前文本模型与个人数据的价值

两人谈到只在 1930 年前文本上训练的语言模型:你可以用提示让它编程,但它的世界与现代世界不可通约,很多现代问题会撞上边界。Edwin 认为真正有趣的问题是:若只给模型牛顿之前的数据,它能否自己发现微积分、量子物理?至于个人数据(邮件历史、是否回复、语气、浏览行为)的价值,他判断核心是深度个性化:模型今天并不擅长个性化,常过度放大你随口说过一次的话;你的垃圾邮件判断、写作语气、在意的文章、公司决策与目标,都能教会模型”你是谁、如何做决策”,这是个人数据最独特的价值。

Deep personalization data value
Personalization data

十五、Hemingway Bench:每句一个比喻的奖励黑客

针对”模型为什么写作差、与人声音不符”,Edwin 举出自创的 Hemingway Bench,测试模型的创意写作。他观察到有些模型几乎每一句都输出比喻:原因是某处存在一个分数/指标,每用一次文学性、复杂意象就得一分,模型便学会”每句一个比喻”的奖励黑客。几周后半声望的英联邦文学奖(Commonwealth Prize)出现争议,一篇明显 AI 生成的故事入围,而它正是每句一个比喻。根源在于测错了对象:不量真正的品味与好文笔,而量文笔复杂度、比喻数量,或依赖 LMArena 里高中生看两秒就被花哨比喻抓住。

Hemingway Bench metaphor reward hacking
Hemingway Bench

十六、五年 AGI 时间表

最后被问到 AGI 时间表,Edwin 表示 AI 到来会比多数人预期更快。若以”自动化普通工程师的工作””发表更多可发表的新科学研究”乃至”赢得菲尔兹奖、诺贝尔奖”为标尺,他认为未来五年内可见。对话在 Dan 感谢嘉宾中结束。

发表评论

English (EN)