OpenRouter创始人再谈模型路由:推理层会被商品化吗、Jevons悖论与中美开放模型差距

这是 OpenRouter 联合创始人兼 CEO Alex Atallah 的又一场深度访谈。节目中谈及:OpenSea 时期为应对加密流量暴涨练出的”永远在线”基础设施经验如何带入 OpenRouter;开放权重模型为何没有被三大云垄断,而是由 Fireworks、Together 等推理提供者托管;推理层会不会被商品化;Nvidia 为何刻意避免客户集中;LoRA”卡带”式可移植微调;多模型与神经多样性为何不可避免;路由技术是否正在被跟风者商品化;GPT-5.6 Luna 降价10倍、用量涨13倍的 Jevons 悖论;模型实验室为何最终会向下进入你的市场;七月每10小时上线一个模型、Agent 实验室自研模型;以及中美开放模型差距、安全护栏与记忆归属。

OpenSea scaling lesson
OpenSea scaling lesson

一、从OpenSea带走的教训:永远在线的基础设施

OpenSea 是第一个 NFT 市场,和 OpenRouter 一样,在很长时间里团队都很小,直到 A 轮前后才扩张。2020年10月 NFT 爆发后,团队突然发现人手不足、服务器濒临融化、搜索索引爆炸,还经历过几次大宕机。Alex 当时最大的目标就是”不要成为加密版的 Twitter 失败鲸(fail whale)”。

为此他做了大量基础设施与扩容工作:做压测,让站点在还没看到10倍流量时就能扛住10倍负载,因为加密世界的流量尖峰完全无法预测,高度依赖内容与社区。这套”在市场剧烈动荡、流量暴涨时依然可预测、永远在线”的能力被他直接带进 OpenRouter。AI 公司(尤其 Anthropic)都经历过不可预测的增长,OpenRouter 也有过几次颠簸,但整体稳定性显著更好。

二、没料到的事:开放权重模型由独立推理提供者托管

回顾创业假设,Alex 说有一件事没料到:会涌现出一批公司专门托管和服务开放权重模型。早期并不清楚这个市场会不会被垄断——会不会由三大超大规模云(hyperscaler)包揽所有开放权重模型,创业公司根本没机会。现实是,人们几乎从不在超大规模云上跑 GLM,而是用 Fireworks、Together 这类推理提供者;OpenRouter 内部榜单上,把开放权重模型托管得最好的正是这些独立提供者。

早期 OpenRouter 还不叫市场,更像一个发现新大模型的探索工具,内部把托管方称为”provider 1″和”provider fallback”,甚至不对外暴露具体是谁在托管。当时他们不确定推理提供者层会不会成为市场,结果证明这些公司比超大规模云更快上线模型、更快处理边缘情况,而uptime(可用性)不会由市场供给侧 magically 自动解决。

Open-weight hosting providers
Open-weight hosts

三、推理层会被商品化、利润被竞争掉吗?

很多人认为推理提供者层是可商品化的元素,会被压缩或利润被竞争出局。Alex 反驳:当下是严重供给受限市场,而且还会持续一段时间,所有推理提供者几乎一直处于短缺状态,GPU 是稀缺资源。

他反问:为什么 Google、Amazon、Azure 不把所有 GPU 买光、把这些推理提供者挤垮?因为造 GPU 的 Nvidia 不希望客户集中,它希望大量客户各自持有独立的 GPU 配额,希望计算层保持市场异质性与竞争。这对生态、对终端用户都好,也让推理提供者能在”如何把同一个模型服务得更好”上持续创新。

Nvidia anti concentration
Nvidia diversity

四、同一个模型,不同提供者的分数并不相同

Moonshot 刚发布的 Kimi K3 就做过一个基准,列出所有推理提供者服务 Kimi K3 的表现,结果差别相当明显——哪怕是广为人知的静态基准。OpenRouter 持续不断地在所有推理提供者、所有开放权重提供者上对所有模型做基准,结果会随时间变化。Fireworks 的 Lin 曾纠正”token 就是 token”的说法:一个提供者能让一个 token 走得更远,就像你可以绕着街区开车,也可以直达商店。

token 可以被做得更高效、走得更远,这正是提供者的工作。OpenRouter 的中央路由技术花了大量时间:一旦检测到某个提供者出现质量提升、提速或降价,它立刻获得更多流量;大模型每五分钟都在发生大变化,路由24小时自动响应,体验因此持续变好。

五、LoRA”卡带”:换基座模型只花几十美元

被问”只能投一家推理提供者投谁”,Alex 保持中立,但表示偏爱做定制硬件、底层深度优化、并努力让定制更简单的提供者。如今微调模型会得到一个与基座完全独立的新模型;而许多推理提供者正在做 LoRA 或被称为”卡带(cartridge)”的可移植层,可能在不同模型之间迁移。未来你微调后想更换基座模型层,可能只花几百美元甚至几十美元。

LoRA portable cartridge
Portable LoRA

六、每家都有专属专精模型,对OpenRouter反而更好

主持人提出:Lin 说”不要租智能,要拥有智能”,未来每家公司都有自己用私有数据训练、专属于自己的专精模型,这对 OpenRouter 是好是坏?Alex 明确说”当然是好事”。他不同意”公司会只锁在自己那一个专有模型上、不再拥抱模型的 diaspora(四散生态)”。

OpenRouter 从第一天的使命就是提升 AI 的神经多样性,坚信多模型未来不可避免。假设真有一个模型满足你公司或消费者的全部欲望,用的人越来越多,就会有人做一个神经发散的模型——用完全不同的数据训练、说话方式不同、能冒出第一个模型永远想不出的点子,这就自然产生同时使用两个模型的需求。创造力无法简单量化,而两个模型一起用比只用一个更容易产生创意想法。

Neurodiversity multi-model future
Multi-model future

七、史上最大市场,但没人能通吃

把博弈论推演到底:如果所有人都用自己的数据训练自己的模型,模型实验室也不断用新买到的数据造新模型,那些数据对你也可能有价值。你的最优策略是去试那些外部模型,看能否更高效、能否融合出更好的 SOTA、能否降本。无论目标是提毛利还是增长,你都有动力使用生态创造的东西;你自己的模型也必须持续改进才能跟上,永远赢不下整个市场。

Alex 判断这会是科技史上最大的市场,甚至可能是人类史上最大的市场,但没有谁能赢下全部。你不如把模型做成在某个非常有用、对公司非常重要的方向上专精、并以该专精闻名。企业会朝这个方向走:做自己的模型、做自己的”品牌化智能”,品牌本身就是护城河的一部分,模型是品牌的载体。

Biggest market no single winner
No single winner

八、跟风做路由:为了存在而玩,而非为了赢

针对”路由技术正在被商品化、Ramp 等纷纷发布类似产品”的说法,Alex 直言:很多公司做路由器只是因为时髦,先做的至少是网关。这里有两个问题:第一,它立刻把你放进”复制”而非”赢”的心态,你是为了存在、为服务现有客户、为蹭一点 AI 增长而玩,而不是为赢而玩,这会让你的网关落后专注者好几个月。

他自己100%专注于打造最好的路由器、网关和市场,这不是支线任务。第二个问题是它削弱了所有用户的杠杆:给用户和开发者更多模型,本质是给他们更多撬动 AI 全部创新的杠杆;如果你的路由/网关不给你完整市场、完整灵活性、完整可定制性,就等于把员工和生态创新挡在门外。OpenRouter 的根本就是用更多选择给人更多杠杆。

Fashionable routers side quest
Not a side quest

九、定价:5.5%抽成、企业承诺消费、自带密钥免佣

OpenRouter 早期按量付费计划抽成5.5%,后来加了完全不同定价模型的企业计划,基于承诺消费(committed spend),承诺消费部分不收佣金。自带推理、自带密钥(bring your own inference/keys)时这笔费用也免除;只有使用 OpenRouter 提供的容量、又不在企业计划内时才抽佣,目的是便于预测需求。

被问三年后主要收入线,Alex 说取决于经济:若 AI 市场未来四年保持每年10到15倍以上增长,人们会持续低估自己需要的推理量,收入仍将由”非计划内推理容量”主导——这正是 OpenRouter 最擅长的:当你要试没预料到的模型、某模型用量超预期时,靠最好的故障转移和可用性兜底。

十、Jevons悖论:Luna降价10倍,用量涨13倍

关于18个月内90%的人 token 价格下降,降价对抽成生意是好是坏?Alex 引用 Jevons 悖论:价格降10倍,用量增长超过10倍。OpenRouter 上有一个近乎完美的样本:GPT-5.6 Luna 由 OpenAI 先降价5倍,再与 OpenRouter 协调再降2倍,两周内价格共降10倍,用量增长13倍,且增长稳定在13倍后按原速率继续。同期还有 DeepSeek、GLM 的低价竞争,但 Luna 用量反超 GLM——GLM 曾是 token 量前三四名,这也是 OpenAI 模型很久以来第一次进入平台 token 量前3到5名。

Jevons paradox Luna price usage
Jevons paradox

十一、榜单代表性与”OpenAI shop”偏差

主持人指出 OpenRouter 只占全市场 token 量约1.5%–2%,且榜单前五全是中国模型,能否代表真实市场?Alex 承认有偏差:平台偏向认同”多模型未来”的人,那些”我们是 OpenAI shop、只用 OpenAI”的公司几乎不会出现,它们主要集中在超大规模云、OpenAI、Anthropic、Gemini,因此平台可能低估前沿模型;但随着多模型理念被更多公司接受、平台规模扩大,数据会越来越有代表性。

十二、模型实验室的向下进入动机:以Claude Design为例

谈到”公司害怕与前沿模型提供商合作”,Alex 说确实有一点紧张,尤其 Claude Design 随 Figma 事件出现时。他的理论是:模型实验室有多个最终向下进入你的动机,其中之一是让公司内部多个团队都依赖它。Claude Design 战略意义大于直接收入:它让设计团队真正在乎 Anthropic 模型,于是这家公司里就多了一个战略性站队的团队,这就是与模型实验室竞争的近近期威胁。

Model labs incentives
Labs enter your market

十三、七月70个模型,Agent实验室将自研模型

模型发展速度是否还会持续?Alex 说每天都有两三个甚至四五个新模型。七月 OpenRouter 上线了70个模型,大约每10小时一个。Agent 实验室也会开始造模型:Jeff Dean 正在 Google 创办一个 agent 实验室;以做 agent 闻名的公司有非常明确的自研模型动机并通过 agent 分发。Cognition 有模型,Cursor 有模型,这类自研潮才刚起步。

叠加 Nvidia 在计算层推动竞争与多样性的压力,以及美国投资人愿意尝试新东西、以各种神经发散方式提升智能,这些都是激励新创始人创办新实验室的强动力。如果美国开放模型起势,就能给新实验室提供非中国的训练基座,进而催生更多美国新实验室。

July seventy models
70 models in July

十四、安全责任:提示注入防护与PII脱敏开关

被问”作为路由方把人送到中国模型是否有责任”,Alex 说客户信任是首要目标:若某模型被普遍认为不安全就下架;所有模型都可能被不安全使用,那就用技术手段保证安全、与模型实验室共同改进。OpenRouter 提供一键开启的安全层:提示注入防护(自动标记可疑注入提示)、PII 脱敏等,让企业能安全部署新模型、让员工试用。他把模型比作互联网:不能因为网上有坏东西就封掉整个互联网,而要建护栏,并用 AI 建最好的护栏。

十五、GLM 5.2是开放权重的一大步,Kimi会写

谈最新 Kimi 模型:它很好,但不像前沿模型那样具备网络能力、长 horizon 任务仍略落后;GLM 5.2 对开放权重模型是真正的一大步,Kimi 相当于 Moonshot 跟上这一步。Kimi 的写作、语调和语气都相当好,而一些前沿模型编码变强后会出现”声音退化”,输出读起来像四段论证里三段对、一段转折,套话连篇难以卒读,而这些是可修复的。

十六、中美开放模型差距:12个月后更大还是更小

主持人担心12个月后中美开源差距更大:DeepSeek 在中国成为国家冠军,政策、资金、监管都为其开路,而美国开源模型融资难、商业模式存疑、又要与 OpenAI、Anthropic 竞争。Alex 认为中国开放提供者确有结构性优势,且有非常优秀的研究者,美国人经常低估;但中国模型也确实在意审查与信息管控。他也提出一个反直觉点:美国企业往往更紧张美国前沿模型,因为数据政策、存储与可见性更不透明、又无法跑在自己选择的机器上,这种不确定性与”跑在自己基础设施/VPC里、谁能看到数据”的熟悉模式可类比。

十七、开发者忠诚与记忆归属

尽管 OpenRouter 把切换成本压到接近零,仍能从留存与流失数据看到有开发者持续忠于某模型,即使有更适合的新模型。原因有三:一是”我的 app 能跑,我不想弄坏它”,优化和护栏都已就位;二是新模型未必更便宜,智能跳升后价格曲线先跳再降,换最新模型并不一定最划算;三是对输出的根本信任,很多人有自己的私人评测随机测试,新模型过不了就留下旧模型。

关于记忆是否还是留存机制,Alex 认为关键在于记忆住在哪一层:模型、推理提供者、app,还是路由器/基础设施层。各层都想用不同方式占有记忆,各有优势;app 拥有模型实验室没有的大量上下文,单一层不可能捕获全部有价值记忆,未来可能是模型层与 app/基础设施层记忆的组合。

发表评论

English (EN)