这是一场围绕 Groq LPU 芯片架构的深度技术对话。嘉宾（Google TPU 先驱、后创办 Groq）回顾 TPU 起源：语音识别团队训练出超越人类转写的模型却因算力不足只能限制在 Nexus 手机；随后解释 LPU 如何不靠外部内存、跨多片芯片展开模型、用更快的片上 SRAM 更快生成 token；静态调度如何在编译期预定操作顺序、避免小批量低延迟推理时硬件停顿；GPU 与 LPU 的帕累托曲线互补；预放在 GPU、解码按用户类型在 GPU/LPU 间分配；agentic 就是把任务拆成可并行的子任务、AI 调用 AI 带来用量指数爆炸；以及 Jevons 悖论与”成功灾难”、AI 时代应教孩子提出好问题。
一、agentic的本质：把任务拆成并行子任务
访谈开篇，嘉宾先纠正一个被滥用的热词：多数人并不真正理解什么是 agentic，只是把它当 buzzword（流行词）用。他给出定义：agentic 有点像”AI 界的英伟达”，核心是能够把事情拆分成并行任务（parallel tasks）。
他对比了串行与并行：CPU 是串行的，GPU 是并行的。假如你独自完成一个任务，会被阻塞、一次只能做一件事，效率不高；而如果能把问题拆成没有依赖关系的部分，就能让多个 agent、多个上下文窗口同时处理。对很多问题这样行不通，但对大多数问题可行。如今你看到的正是：任何可并行的任务都被拆进独立的上下文窗口分别处理。
另一个层面是”AI 也喜欢用 AI”：就像你会向它提问，它也会去问另一个 AI 一些问题，让那个 AI 先工作，自己同时干活，等答案回来再整合。正因为这样拆任务、把任务交给其他 AI，才带来了用量的绝对爆炸（absolute explosion），而且独立子任务跑得越多，最终答案质量往往越好，就像一个更大的团队能做更多检查、得出更有依据的答案。
二、TPU的起源：午餐时聊出的20%项目
主持人提到两人都是 Google 校友，在 Google 时有个玩笑：如果当天训练模型的 TPU 配额用完了，干脆就放假一天。嘉宾正是 TPU 的先驱，后来离开 Google 创办自己的芯片公司。他被问到在 Google 看到了什么让他想另起炉灶。
答案是算力不够。当时语音识别团队训练出一个模型，转写能力第一次超越人类，但问题是无法投入生产，只能把部署限制在 Nexus 老款 Android 手机用户范围内，因为算力实在太少。嘉宾正好在纽约和语音识别团队一起午餐，听到了这个难题。这件事最初作为一个20%项目（20% project）起步，把模型移植到 FPGA，做出一个通用架构；后来发现推理（inference）需求极其迫切，于是变成了一颗芯片。Jeff Dean 做过分析，评估了未来要在这上面投入的容量与开销，团队就跳了进去，当时并不知道有多难。
嘉宾用他过去用过的”成功灾难”（success disaster）来形容这种局面，他在 Google 多次经历过。
三、推理时GPU受内存瓶颈，LPU如何换架构
主持人问：Nvidia GPU 擅长训练，但推理时受内存瓶颈限制，Groq（转录中拼写为 Grock）如何改变内存架构来应对？嘉宾先强调权衡：天下没有免费午餐（no free lunch），目标是拿到最低的每 token 成本，因为成本决定容量。大家都在竞速，愿意为更多容量付更多钱；但如果花两倍的钱只能拿到一半的每美元容量，那就不是真正关心的事。真正关心的是”每一美元能拿到多少 token”，同时你还需要速度。
权衡在于：要绝对最优的每 token 成本，就用 GPU、用很大的批量，但速度不会那么快。Groq 做 LPU 的思路是：能够在不使用任何外部内存的情况下扩展到多片芯片，把模型分散到这些芯片上，从而使用快得多的 SRAM（片上静态内存），在更低成本下更快生成 token。
四、帕累托曲线：GPU与LPU互补填满中间区
嘉宾用帕累托曲线（Pareto curve）解释：GPU 与 LPU 的曲线相当不同，曲线上有的区段 GPU 更经济，有的区段 LPU 更经济，通常在更快的那一端。把两者结合起来，就能填满中间地带；在 GPU+LPU 与 LPU 之间，你就能在任意想要的运行速度下拿到最优的每 token 成本、最大容量。
Groq 的另一个差异化是使用静态调度（static scheduling）：操作顺序在编译期就预先定义好。为什么这对大模型推理是优势？嘉宾用日程安排打比方：如果要安排一堆15分钟的短会，对方必须准时出现、占用这段时间，就得排期；而一场五小时的长会不需要精确排期，你迟到30分钟也只占五小时里的30分钟。推理做的是超低延迟、小批量，因此需要把所有操作都排好，让计算的每一部分快速完成、把硬件释放给下一部分，避免后面的工作全部停顿。训练时这不那么关键，但对推理绝对关键。
五、MoE专家：静态调度下的scatter/gather
当今很多最先进大模型采用混合专家（Mixture of Experts, MoE）架构，推理时每个查询可能激活不同的专家。在一颗做静态调度的芯片上如何工作？嘉宾解释：被静态调度的是什么？就像日历上这个15分钟时段不变，但会见的人可以换。LPU 具备 scatter/gather（分散/聚集）能力，根据需要哪个专家就取来不同专家，仍然跑同样长的时间，只是换成不同专家。即便专家大小不同，甚至可以路由到另一颗芯片，只会在管道里留下一个小气泡。关键在于：确定性（determinism）给你更强的时序预测能力，却不限制你能跑什么。
LPU 架构对专家模型尤其友好，因为批量越小越好。用外部内存时，你要从 DRAM 读入一个专家，再摊到大量计算上，可能需要几百的批量才经济；用 LPU 可能10左右的批量就成立，意味着不用等那么多查询攒批就能跑，时间更短、效率更高，几乎是为专家模型量身定做。
六、线性代数最优：架构更替时LPU不必重设计
当 Transformer 被下一个时髦架构取代，LPU 要完全重设计吗？嘉宾说这是古老问题。设计 LPU 时《Attention Is All You Need》论文还没发表。注意力与当时已有的卷积等有很多押韵之处，它们很不同，但本质都是线性代数。如果你为线性代数造出了最优芯片，就等于为大多数这类架构造出了最优芯片。
你也许会决定针对某种矩阵乘法尺寸优化，而不同架构可能不同。嘉宾见过一些人走向极度专用，但最终最常赢的几乎总是灵活性（flexibility）。假如限制你永远不能改模型、但能快10倍，这并不吸引人，因为算法本身会有10倍改进，算法迭代如此之快，灵活性往往更重要。LPU 架构专门设计得极易编程，新架构出现时可以快速采用，让最新算法很快跑起来。
七、实时语音：更快反而降低转写错误率
主持人问：LPU 是”语言”（Language），是否意味着视觉、音频模型享受不到同样的速度提升？嘉宾说，Groq 云最大的用户之一就是语音转文字（speech to text）用户，也曾有一段时间做文字转语音（text to speech），原因是这类任务对实时性极其敏感。其中一些模型嵌入了卷积层，这正是通用架构的价值所在，否则没法在上面跑这些语音任务。
更反直觉的是，更快反而提升质量。你可以把音频切成很小的片段单独跑，但只听到一小段就缺少完整上下文，更难预测单词。用较慢的芯片做音频处理时，为了实时会切得更碎，错误率上升；就像两个不同的人同时转写一段演讲、每人每次只听5秒，会因为没有完整上下文而错误更多。因为 LPU 能以数百倍于实时的速度做语音转写，能处理大得多的片段，实际降低了这些模型的错误率。
八、自回归与扩散：清晰电梯音乐与灵魂旋律
目前谈过的语言推理、音频多为自回归（autoregressive），但如今视觉模型是扩散（diffusion）基于的，一些大模型也是。扩散大模型在 GPU 上比自回归快，这个排序在 Groq 芯片上还成立吗？嘉宾先解释自回归：先猜出这个词，再猜下一个词，像下棋先想一步再走下一步，而不是并行想完所有步；语言里尤其在知道第99个词前很难知道第100个词。
于是有人尝试用扩散模型生成语言，但效果不好，因为在没决定这里要说什么前，很难决定那里要说什么——就像100个人写一篇演讲、彼此看不到对方写的。扩散之所以叫扩散，是因为信息在时空中扩散，离得越远影响越小。嘉宾打了个生动比方：自回归版本会更有灵魂、更深、你会很喜欢，但可能有杂音；纯扩散则是你听过最清澈的电梯音乐，没有灵魂；把两者结合，重要的时刻用自回归带上下文完成，其余用扩散填充。正如 LPU 与 GPU 配对做解码，成功的扩散大模型版本很可能会把自回归与扩散结合起来。
九、物流类比：GPU是18轮卡车，LPU是送货车
主持人提到 Nvidia 在3月 GTC 公布专为推理、尤其为 agentic 的 Vera Rubin 超算，问 GPU 与 Groq 在推理时如何协作。嘉宾先给类比：假设要为全美建物流网络，只能选18轮卡车或送货车。送货车能进任何车道但装不多、更贵；最优答案是两者都要。GPU 就是18轮卡车，能一次处理大量 token，但装货、运输要一点时间；送货车更像 LPU，效率没那么高，但在最后一英里比让卡车来做更高效。
大模型本身分两部分：权重、投影层，以及注意力。他们的做法是把投影放在 LPU 上，把注意力放在 GPU 上，从而兼得两者之长。
十、Nvidia协议之后：混合部署，预填GPU、解码分流
主持人问：Nvidia 协议之后，Groq 芯片会独立出售，还是更多以 LPU+GPU 混合形式出售？嘉宾认为会看到混合形态。预填（prefill，读取文本）仍建议只放在 GPU 上，因为 GPU 很擅长这件事，且对完成延迟敏感、但对单 token 不敏感，是高度可并行的问题，交给18轮卡车 GPU。
解码（decode）则按用户类型分流：对成本敏感的免费用户，可能完全用 GPU 解码；付费的专业用户期待更高速度，可能用 GPU-LPU 组合解码；对极端、性能关键的任务，甚至可能纯 LPU 解码。任何数据中心里都是预填全在 GPU，解码一部分在 LPU、一部分在 GPU。
十一、AI写CUDA内核：好坏不是二元判断
谈到 AI 对工程师的影响，CUDA 内核 notoriously 难手写，AI 是否会好到能自己写？嘉宾认为可能已经够好了，但这不像听起来那样二元。什么叫”够好”？不是写不写内核，而是内核有多好、多高效、多高性能、多容易与其他内核融合、多通用、可复用性如何、覆盖多少专用场景。随着 AI 越来越好，内核也会越来越好；但你在某个内核上花的时间越多，那个内核就越好。
Groq 架构一个有趣之处是 kernel-free（无内核）架构。灵感来自 Groq 创立时还没有大模型来写软件，小团队什么都得自己做，于是造了一颗编译复杂度不高的芯片。就像 AI 会随时间进步、产出更好内核，如果要编译到的硬件更容易推理，AI 就能产出更好内核；他们已经在用 AI 为 LPU 编程并取得很好结果，因为围绕它（或围绕你的 LLM）更容易理解。
十二、小团队造芯片：卧室原型易，量产是”小乌龟问题”
AI 降低了写软件门槛，硬件是否也会有更多人造芯片？嘉宾说绝对会看到更多人尝试设计硬件。但硬件是物理实体，需要实验；软件能立刻看到结果并迭代，硬件却有供应链和大赌注。会看到很多人想做芯片，因为设计一个很容易，但把它带上量产很难，这会变成”小乌龟问题”（baby turtle problem），世界上供给有限，客户下注时只押在知道一定能成的东西上。
软件出 bug 可以打补丁，芯片出错则要4到6个月重新流片（respin），因为芯片是物理的，有60、70甚至上百层化学沉积，每层可能要一天以上。从流片（tape out）掩膜到测试有物理时间，掩膜成本高达数千万美元，错了就是数千万美元；但这还比不上告诉客户”抱歉，还要再等6个月才能给你修复产品”。加上供应链要先采购晶圆、承诺建造，没有芯片可发就是非常昂贵的错误，所以不会看到一群牛仔式的人把芯片往墙上扔。
十三、学科边界消融：硬件工程师也自助写测试软件
嘉宾谈到自己罕见的背景：软件工程师转行成硬件工程师。团队注意到，以前从不写软件的硬件工程师会去找软件工程师写软件，现在他们会自己”为什么不直接实现一个小软件测试看看行不行”，拿到即时反馈。硬件与软件开发本就界限分明，语言不同、推理方式微妙不同，因为做芯片要考虑导线、门等物理约束，硬件工程师甚至会害怕开始写软件，反之亦然。
现在边界开始消融，人们能够伸手进入相邻学科做事。正如软件工程师不必等设计师就能实现东西，设计师也在用编码工具直接产出；软件工程师与硬件工程师争论时，可以直接实现出来证明可行。
十四、Jeff悖论与Jevons悖论：无尽的算力需求
回到开头的”成功灾难”，未来 Groq 和 Nvidia 会迎来怎样的成功灾难？嘉宾引出 Jeff 悖论：对算力的需求 effectively 无限，只要文明还有未解决的问题，就需要更多算力。现在癌症没治愈、人仍会衰老，这就是三个问题；只要它们存在，就得不断推进，需要更聪明的 AI、更多算力让更多 AI 并行运行、并行解决更多问题。随着改进，单位智能成本会下降，但又进入 Jevons 悖论：成本越低，人们越愿意花。
Jevons 悖论出自1800年代一篇论煤的论文：蒸汽机每次更高效，总耗煤量反而增加。活动变便宜后，原本不盈利的活动变得可盈利，可以做更多该活动，也让人更多实验、更多尝试。AI 变得如此便宜，会把对 AI 的需求推到人们花越来越多、需要更多算力的地步。一个类比：从地下多抽一倍石油，并不能让两倍的人获得交通便利，你得有辆车；但一旦训练好模型，提供两倍算力就能让两倍的人使用、解决两倍的问题。每建一座 AI 工厂就能立刻做更多事，推动成本继续下降，人们想做更多事——这就是 Jeff 悖论，成功灾难不可避免：为世界提供越多算力，人们想要的算力就越多。
十五、AI时代教育：学会提出好问题
收尾时，很多人问嘉宾”该让孩子做什么”。他的回答很简单：今天的教育仍是信息时代思维，教孩子为一个问题想出答案；但 AI 时代翻转了，变成提出正确的问题。只要你能提出正确问题，AI 就能替你回答。他给听众的大建议是：开始学习如何问更好的问题，教孩子问更好的问题，把教育体系改造成问题导向。如果孩子把问题喂给 AI 就太容易解出，你并没有教他们未来如何成功；但如果给他们一个必须自己提出问题的题目，你就是在为未来准备他们。