177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

「开源了权重，没开源产生权重的 “流水线”。」

本期我们邀请 RadixArk 创始成员赵晨阳和华盛顿大学博士生曾致远，从推理与算法两条线拆解 K3：它真的比肩 fable 吗？3T 开放权重、混合注意力和智能体训练环境意味着什么？以及开源模型真正开放了什么、又保留了什么？

晨阳是老朋友，他曾在 163 期节目中为我们从 Infra 角度解读了 DeepSeek-V4。在 UCLA 读博期间，晨阳成为 SGLang 核心开发者，SGLang 第一时间适配了 V4 、K3、GLM 5.2 等中国开源模型。

曾致远目前在华盛顿大学读博士二年级，研究大语言模型，师从 Hannaneh Hajishirzi 教授和 Pang Wei Koh 助理教授。

进入具体的技术报告解读前，我们也聊了 K3 如今在美国 AI 界和更广泛的投资市场所引起的巨大关注，以及与 K3 直接相关的开源大辩论。

本期节目已发布图文版，详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？丨晚点播客

下面，正式进入节目吧。

本期嘉宾：

• 赵晨阳，RadixArk 与 SGLang 创始成员
• 曾致远，华盛顿大学计算机科学博士生

本期主播：

• 曼祺，《晚点 LatePost》科技报道负责人

时间线跳转：
-K3 为什么成为里程碑
05:13 使用体感：长程任务、惊艳的前端能力与被吐槽的不足
11:15 K3 引发的开源、安全与估值大辩论
16:50 Transformer 的「忒修斯之船」
25:34 贵不贵、慢不慢，看单价之外的任务总成本
29:25 K3 为什么现在慢？新架构、Serving Stack 与前缀复用
34:42 权重一旦开放就收不回；真正的护城河在环境、验证和算力

-KDA（K3 采用的注意力） 和 KDA（kenerl 开发 agent），说不好哪个更伟大？
39:36 架构总览：让信息沿序列与深度更高效流动
42:42 Quantile Balancing：近千个专家如何保持负载均衡
48:38 KDA＋MLA：线性注意力与全局注意力并非二选一
54:12 线性注意力下，百万上下文如何缓解遗忘
57:27 线性注意力给推理系统带来的工程变化
01:00:54 6.3 倍解码加速来自哪里
01:03:34 Attention Residuals：让深层模型选择性读取浅层信息

-优化器、后训练与自动研究
01:10:23 Per-head Muon 与大规模训练稳定性
01:14:46 AI 能否自己发明优化器
01:20:34 MOPD：九个领域专家为什么先分后合
01:27:11 蒸馏的纯技术定义、on-policy 蒸馏与 off-policy 蒸馏的区别

-Infra 优化
01:31:08 KDA 结构下，投机采样回退机制的变化
01:39:47 Flash KDA、QAT 与训练—推理一致

-后面有什么？
01:46:50 下一个开源最强，以及开源能否超过闭源
01:48:29 持续学习、评测与模型平台期

剪辑：甜食

相关链接：
Kimi K3 官方技术博客
Kimi K3: Open Frontier Intelligence（技术报告）
Kimi Linear: An Expressive, Efficient Attention Architecture
Open Weights and American AI Leadership
163 期：详解 DeepSeek V4：Infra 巨鲸、百万上下文走进现实、极致效率优化
143 期：阿里、Kimi 都在用的 DeltaNet 是什么？｜与杨松琳聊线性注意力新改进
104 期：我给线性注意力找“金主”，字节 say No，MiniMax say Yes
103 期：用 Attention 串起大模型优化史，详解 DeepSeek、Kimi 最新注意力机制改进
详解 DeepSeek V4：Infra 巨鲸“四连击”，百万上下文走进现实
再谈注意力：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进丨晚点播客
3700 次预训练寻找“线性注意力”非共识，MiniMax-01 开发者讲述 4 年探索
大模型“注意力简史”：与两位 AI 研究者从 DeepSeek、Kimi 最新改进聊起

附录：

• KDA（Kimi Delta Attention）：Kimi 提出的线性注意力机制，用固定大小的循环状态压缩历史信息，降低长上下文的计算与存储开销。
• Flash KDA：KDA 的高性能 Kernel 实现，通过重叠 chunk 内计算与 chunk 间状态传输，减少计算空转。
• Kernel Development Agent（KDA）：用于编写、测试和优化 GPU Kernel 的智能体；缩写同样是 KDA。
• MLA（Multi-head Latent Attention）：通过低秩表示压缩 Key-Value Cache；K3 用少量 MLA 层补充对全局上下文的直接访问。
• 混合注意力（Hybrid Attention）：在同一模型中组合不同注意力机制；K3 采用 3 层 KDA 搭配 1 层 MLA。
• NoPE（No Positional Encoding）：不显式加入位置编码，序列位置信息主要由 KDA 的递推、门控与衰减提供。
• Attention Residuals（AttnRes）：让模型选择性读取较浅层的历史表示，改善信息沿深度方向的流动。 mHC（Manifold-Constrained Hyper-Connections）：DeepSeek V4 的多通路残差连接方案，与 AttnRes 都用于改善层间信息流。
• MoE（Mixture of Experts）：每个 token 只激活少数专家子网络，以较低计算量承载更大的总参数规模。
• Stable LatentMoE：K3 的 MoE 方案，共有 896 个路由专家，每个 token 激活其中 16 个。
• 负载均衡（Load Balancing）与 Quantile Balancing：负载均衡避免 token 过度集中到少数专家；K3 按路由分数的分位数分配专家。
• Muon、MuonClip 与 Per-Head Muon：Muon 对更新方向做近似正交化；K2 用 MuonClip 稳定注意力，K3 则按注意力头分别优化。
• 知识蒸馏（Knowledge Distillation）：让教师模型把能力传递给学生模型，可用于模型压缩或多种能力合并。
• Checkpoint：训练过程中保存的模型参数及相关状态快照，可用于恢复、比较或更新模型。
• 消融实验（Ablation Study）：移除或替换某个组件并比较效果，以判断它是否真正有贡献。
• MOPD（Multi-Teacher On-Policy Distillation）：K3 先训练多个领域教师，再把它们的能力在线蒸馏进统一学生模型。
• On-policy 蒸馏：学生生成轨迹，教师对这些轨迹提供监督，数据分布更贴近学生当前策略。
• Off-policy 蒸馏：学生学习教师预先生成的数据，实施更方便，但可能存在分布偏移。
• 投机采样（Speculative Decoding）：小模型先猜一批 token，大模型再集中验证，以提高生成速度。
• 前缀缓存（Prefix Cache）：复用相同提示词前缀的中间计算结果，避免重复计算。
• Persistent Rollout：未完成的长轨迹可暂停并在后续轮次继续，减少长尾任务对整批采样的阻塞。
• Off-policy Mismatch：训练数据并非由当前模型策略生成，常来自旧 Checkpoint 或不同的推理配置。
• Agent 训练环境与 Harness：环境提供工具、沙箱和奖励；Harness 组织提示词、工具、上下文、Skills 与 Memory。
• QAT（Quantization-Aware Training）：训练时模拟低精度计算，让模型提前适应量化误差。
• 忒修斯之船（Ship of Theseus）：节目用这一比喻形容部件不断被替换、却仍沿用 Transformer 名字的模型架构。
• 持续学习（Continual Learning）与 RSI：持续学习指模型从新任务和反馈中继续更新；RSI 指系统递归改进自身能力。

小红书@曼祺_火柴Q即刻@曼祺_火柴Q

☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆

欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。
这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。

请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。

关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：