本期《Unsupervised Learning》由 Redpoint Ventures 投资人 Jacob Effron 主持，对话嘉宾是 Applied Compute 首席执行官 Yash Patil——他曾在 OpenAI 参与 Codex 项目，如今专注企业级后训练（post-training）与定制模型。这场 56 分钟的长谈围绕一个核心判断展开：后训练是 AI 技术栈中最被低估的一环，也是企业真正”拥有自己智能”的关键。
一、开场：”拥有自己的智能”到底意味着什么
过去三四个月，”own your intelligence（拥有自己的智能）”成为 AI 圈子里最流行的叙事之一。外界给出的理由五花八门：担心前沿实验室随时关停 API、担心实验室与自家产品直接竞争、担心模型训练挪用你的数据。Yash Patil 作为前 OpenAI 内部研究员，对这些”实验室恶意”叙事并不买账。他认为，这些公司由优秀的人组成，受合同义务约束，在数据保护上投入了大量工程。
在他看来，”拥有智能”的核心不是防备实验室作恶，而是灵活性与控制权：模型在哪里运行、如何部署、优化的是成本还是延迟还是特定领域，你掌握得越深，自主空间越大。要真正训练模型去完成自己数据上的任务，就必须拿到权重，必须拥有后训练、影响模型以及在多个模型之间路由的基础设施。
他也承认，过度依赖单一模型供应商确实有风险——模型被不同产品下线的事在编程领域已经发生过不止一次。随着实验室向垂直行业下沉，是否还会持续服务直接竞争的客户并不明朗。最稳妥、最可持续的做法，是投资全栈能力，让驱动自家产品的模型掌握在自己手里，而不是把宝押在某一组模型或某一家公司身上。
二、OpenAI × Baseten：多模型未来的明确信号
对话中提到一个新鲜案例：OpenAI 宣布与 Baseten 合作，企业几乎可以把 OpenAI 的额度消耗在通过 Baseten 调用的开放模型上。Yash 明确表示他们非常欣赏 Baseten 团队，而这件事本身就是一个清晰信号——客户想要选择、想要灵活性，OpenAI 也在朝”平台”方向移动，希望成为企业使用 AI 的入口。
几个月前行业的叙事还是”比拼最强、最大、最猛的单一模型”，如今则更多谈论帕累托曲线：并不是每个任务都需要巨型模型，性价比之间存在权衡，选择空间和灵活性本身就是价值。开放模型把这种权衡推向极致——你可以在不同规模、不同家族的开放模型之间滑动；而 Applied Compute 的核心论点更进一步：你可以通过后训练把这条帕累托曲线整体外推，用更低成本得到更好的模型。
三、后训练能否超越前沿大模型
前沿模型在基础能力上仍领先开放权重模型，但如果你拥有差异化的、模型分布之外的专有数据，后训练就能把开放权重模型推到能力超越的位置。Yash 的一般判断是：你的数据越处于分布之外，后训练带来的能力提升就越可能兑现。
不过多数企业做后训练，并不是为了打能力榜，而是为了在保持能力对等的前提下优化性价比：拿一个更便宜的模型训练到与前沿模型持平，却以低得多的成本提供给更多用户。要做到能力超越，数据必须真正差异化；更多时候，后训练的回报落在”性价比”一侧。
四、什么数据始终处于分布之外
五年后，还有多少客户的数据会停留在模型分布之外？Yash 坦诚：训练方式本身会变。当前主流是离线 RL——从数据供应商采购高质量数据集，针对特定领域爬山，得到一个在该领域非常”尖”的模型。而大量在线 RL 方法开始利用生产环境的推理流量反过来改进模型，这将成为企业沉淀自身判断与专业知识的主要方式。
真正分布之外的专有数据，大多诞生于公司内部：判断轨迹（judgment traces）。不同公司风险阈值不同、运营模式不同、专业积累与历史数据不同，这些决定了它们各自的决策。离线 RL 强调必须有数学题、评分规则这类高度可验证的信号，但企业里更多是判断型任务——配置、提示、上下文优化之外，优化”策略本身”（如何判断、如何推理）更有意义，而这恰恰更难被标准化。五年后，很多公司会建立系统收集专家输入，再把这些输入转化为更好的模型策略。
五、数据效率与持续学习的未解之谜
在线 RL 所需的数据是否足够？Yash 把这称为绿地领域，核心难题是数据效率与稀疏奖励下的学习。他梳理了一条能力谱系：预训练不怎么数据高效，但泛化极强；监督微调更省数据但依然一般；带可验证奖励的 RL 用可回放环境和验证器，以数据数量换质量，却仍然谈不上数据高效。
未来一定会出现更数据高效的训练方法，在线 RL、在线策略自蒸馏等技术正是前沿。而阻断”持续学习”的根本障碍，是从稀疏奖励中做极高数据效率训练——这是一个尚未解决的问题。Applied Compute 今天就已和客户开展在线训练：利用数万、数十万用户的大规模推理部署，用生产数据改进模型；团队并不绑定某一种训练范式，研究系统团队会在真实客户身上试验各种新方法。
六、什么时候值得更新模型权重
未来是否一定走向”非静态的一组权重”？Yash 表示他们深度相信这一点：现实世界会通过某种反馈回路回流到模型。但并非每个任务都需要这个回路。随时间变化、需要新信息闭环回流的任务适合；而基础模型开箱即给的智能伞不断扩大，大量流程导向、事务性任务届时将足够。真正需要迭代训练的，是更偏判断导向的工作。
一个真实客户案例：用户在一个助手产品上完成任务后直接给出反馈，与其维护巨型技能文件或上下文，不如用在线训练方法直接基于用户反馈偏置模型，结果用户满意度、完成率上升，工具调用失败下降。决策顺序上，公司仍应先挤干上下文优化与工具链（harness）优化的水分；当你把自建工具能榨的都榨完，继续优化”策略如何更好地使用这些工具”仍有大量空间。后训练、调整权重的总成本正在下降，但落地的主要成本削减来自算法侧与系统侧：GPU 实际利用率远低于想象，全局聚合后还能挤出大量余量；更数据高效的算法则意味着训练更短、算力更省。
七、每家公司都需要自己的模型吗
Satya Nadella 曾说”世界上应该有多少家公司，就有多少个模型”。Yash 认为不必字面理解为每家公司都要预训练或中训练自己的模型，但每家公司内部都存在值得捕获的闭环反馈系统。好模型为所有人设定了地板，而你如何优化模型、如何构建出色的 AI 系统，才决定了产品的天花板。
行业之间差异极大：制药公司各自聚焦疾病领域、生成大量实验数据，自然该有自己的模型；银行之间则可能走向一定程度的整合。但每家公司做出的一连串决策与取舍并不相同，模型仍有竞争空间。当下正处于算力供应紧张期，能把模型和现有算力榨得更干，本身就是差异化——比竞争对手便宜十倍做事，就是竞争优势。
八、不可验证领域里的 RL
RL 最早在数学、编程这类高度可验证领域起步。Yash 指出，把不可验证领域转成某种”代理可验证”领域后，爬山其实出奇地容易：基于评分规则（rubric）的 RL 效果相当好；没有唯一答案的任务，给出专家答案并据此打分，就是相当不错的代理。这也意味着，不同公司请不同专家优化，会得到截然不同的模型。
他有一句分量很重的话：我们手上的 RL 本质是一台爬山机器，最难的部分是定义要爬的那座山。因此评估（evals）既是公司要重点建设的资产，也必须谨慎保护——公开基准一旦公开就会被基准化，而你希望自己独有的”好坏标准”不被外人知道。员工不是可互换的，模型同理。领先的应用公司处在两难：把评估交给实验室有助于扩展能力，却也泄露了来之不易的洞见。这正是每家公司都应投资开放模型基础设施、拥抱多模型未来的原因。
九、推理生意：为什么后训练赢在推理
Applied Compute 挑选客户的标准很清晰：要么是能力提升价值极高的场景（制药、网络安全、芯片公司等），要么推理负载极大——把效率、质量改进摊到海量用户或数十亿、万亿 token 上，同样价值巨大，因此他们最青睐大规模推理负载或高度分布外数据。
关于推理市场，Yash 判断推理将成为全球最大市场之一（即便不是最大），而核心观点是后训练赢在推理。企业通常先用前沿模型大量试错，工作负载成熟并规模化后，才转向开放模型做成本优化、外推帕累托曲线；而花钱最多、规模最大的负载，恰恰最应该先做后训练，因为那里收益最厚。训练方式还会反过来影响推理部署：长程工具使用型 agent 与解码密集型负载，需要不同的解耦式部署，prefill 与 decode 可用不同芯片。
容易被忽略的是：除了把推理成本砍 10%，还可以让模型在同等表现下 token 效率提高 10%，直接削减 token 账单——这是同一枚硬币的两面，所以 Applied Compute 想同时做训练与推理的集中供应商。至于把生产级推理跑起来有多难，他呼应 Dylan Patel 的说法：有 GPU、装上 vLLM、接到 OpenRouter，”差不多”就有了一个生产推理服务；当然规模化后的优化、token 速度仍是硬功夫，但相较训练，把推理跑起来是更容易的那一半。
十、新一代 AI 超算厂的反向金字塔押注
云时代有 AWS、GCP、Azure，它们在 CPU 算力之上构建了网络、存储、数据库、数据湖等灵活产品。如今新的计算基底是 GPU，而”模型”这堆权重与参数由推理引擎承载——推理引擎是 AI 软件栈里第一个真正具备粘性的软件。
Yash 押注：这一软件层远不止推理。如何把 GPU 算力变成更智能的 token 是训练，如何服务这些 token 是推理，如何挑选该服务的 token 是路由，此外还有安全监控、身份、agent 沙箱等。他用反向金字塔描述战略：金字塔底部是极少数人能做的模型训练，往上依次是推理、路由、上下文与工具链。公司目前 16 个月大，先从训练切入推理，聚焦高杠杆、高 ROI、需要 robust 基础设施和自有 GPU 机队的环节，随成熟度横向拓宽。现阶段他们不碰 0 到 1 的 agent 搭建，也不做 harness 与上下文层，专注模型层，为成熟产品背后的模型做优化。
十一、构建 RL 环境：任务、环境、验证器
构建一个 RL 环境与构建训练数据、构建评估是同构的，三件主件：正确的任务、模型可访问的工具与服务环境、以及好坏判定方式（验证器）。他举了与法律科技公司 Harvey 合作训练法律评审专用模型的案例：收集专家评分规则与答案，辅以合成数据，给模型开放工具与文档库，让它完成信息抽取任务，再用专家答案打分。最难的部分是让人编写评分规则、构造真实可信的文档。真实专家环节必须与客户团队直接协作，合成的问答对（如文档回译）则可以由 Applied Compute 完成。
十二、快问快答：Jevons 悖论、奖励黑客与 AI 编程
RL 的泛化远不及预训练：在数学数据集上训练，迁移到法律领域的效果有限，只会向邻近领域”渗”。过去一年他最意外的是 Jevons 悖论的真实程度——OpenRouter 数据显示模型一降价，用量立刻飙升；行业正进入极度成本优化的世界，”为正确任务选正确模型”的权重远超他预期。像 JAV 这类便宜、快速、面向特定任务的模型，更多是使能者而非替代者，让以前成本上不可能的大规模 token 级分类、轨迹分析成为可能。
谈到奖励黑客，他形容模型”像水一样找到阻力最小的路径”：编程类客户身上就发现过模型利用软件包漏洞轻松刷奖励的情况；这也是网络安全公司热衷于训练 RL 模型的原因——编程先验极强，进攻性网络能力的奖励信号天然良好。关于 AI 编程，Yash 本人并不反对，他在 OpenAI 做的就是 Codex。区别在于：把思考权外包给编程 agent，与让 agent 执行你已经想清楚的计划和设计。系统设计能力才是核心，语法不再重要；面试时允许候选人放手写代码，但会追问为什么这样设计、权衡了什么。这套原则也适用于财务、商务开发等非工程岗位：可以用任何工具，但必须完整说清工具替你做了什么。最后他谈到专家网络（如 Mercor）的价值——模型是数据的函数，训练时每个任务只用几百到两千条高质量样本，QA 质量直接决定模型好坏。
本文基于 Unsupervised Learning 播客对话整理翻译，原视频：Applied Compute CEO on the Limits of RL, the New AI Hyperscaler & Why Post-Training Wins Inference，主持人 Jacob Effron（Redpoint Ventures），嘉宾 Yash Patil（Applied Compute）。