KimiK3技术概要：2.8T MoE模型的长程智能探索

导读Kimi K3 是月之暗面于 2026 年 7 月发布的旗舰模型。官方将它定位为开放的 3T 级模型总参数 2.8T、原生视觉能力、100 万 token 上下文并面向长程编码、知识工作与推理任务。它的技术主线不是单纯继续增大 MoE而是用Kimi Delta AttentionKDA、Attention ResidualsAttnRes和更稀疏的Stable LatentMoE试图在超长上下文、极大参数量和可承受的推理成本之间同时取平衡。官方发布技术博客而非完整技术报告。博客说明模型权重和详细架构、训练、评测报告预计在 2026 年 7 月 27 日一同发布。因此本文能解释“官方声称采用了什么设计、这些设计想解决什么、现有评测支持到何处”但不会把尚未公开的训练细节、参数分配和独立复现效果补写出来。猫先生认为K3 试图把模型规模、长上下文、原生视觉和长程 Agent 行为放进同一套效率约束中。如果后续技术报告能证明 KDA、AttnRes 与高稀疏 MoE 的贡献这会是一条很有价值的开放模型扩展路线在此之前博客中的性能描述仍需按官方结果阅读。官方发布博客Kimi K3 Tech Blog: Open Frontier IntelligenceKimi API 平台https://platform.kimi.aiKimi Code 文档Model Configuration | Kimi Code Docs图 1Kimi K3 官方发布主视觉。该图来自发布博客中。来自 https://www.kimi.com/blog/kimi-k3。原文脉络博客先给出 K3 的规模、上下文和定位随后解释 KDA、AttnRes 与 Stable LatentMoE 组成的架构方向。主体按 Coding、Knowledge Work、Architecture and Infrastructure、Availability、Benchmark Table 和 Limitations 排列先展示模型能完成的长程工作再回到它怎样训练、部署与评测最后直接写出思考历史和过度主动性的限制。1. 开放 3T 级模型规模不是唯一目标K3 的总参数为 2.8T。它使用 MoE但每个 token 有效激活 896 个专家中的 16 个。把总参数做大、而每次只调用一小部分专家是当前大模型扩展中控制单 token 计算量的常见路径难点转移到路由是否稳定、专家是否均衡以及跨设备通信是否会吞掉效率。官方给出的另一个核心数字是 100 万 token 上下文。长上下文并非只意味着“能塞进更多 PDF”对长程编码 agent 而言它决定模型能否持续保留代码库、终端输出、推理记录与工具调用历史对知识工作而言它决定大量网页、报告、表格和中间结论能否维持在同一个任务状态中。K3 的发布节奏也需要分清官方称模型可通过 Kimi、Kimi Work、Kimi Code 和 API 使用完整权重与技术报告尚未发布。因而它目前是“可调用的公开产品”但还不是一个已经能由社区完整审计的开放权重研究对象。2. 架构与基础设施KDA、AttnRes 和高稀疏 MoE 的组合图 2Kimi K3 的概念架构图。2.1 Kimi Delta Attention降低长序列注意力的扩展压力KDA 被官方描述为高效扩展 attention 的基础。传统全注意力会让序列位置两两交互长度增加时计算和 KV cache 压力迅速变大。KDA 的目标是用更适合长序列的信息更新方式保存必要状态而不让每一步都付出完整全局注意力的代价。博客同时提到 KDA 给常规 prefix cache 带来新挑战并称团队为 vLLM 社区贡献了对应实现。这个细节很重要长上下文模型是否便宜不能只看单次前向的理论复杂度还要看多轮对话或 agent 工具循环中历史前缀能否被有效复用。2.2 Attention Residuals跨层检索而不是把每层表示都平均累积AttnRes 的官方描述是“选择性地跨模型深度检索表征而不是均匀累积”。直观理解深层网络并不一定只应依赖上一层输出一些任务可能需要重新取回较早层的局部模式、语义特征或注意力结果。AttnRes 试图为这种跨层信息回流提供可学习通道。这类设计针对的是深模型的信息退化与训练稳定性问题但目前博客没有给出它的精确定义、消融曲线或与标准 residual 的同算力比较。它是 K3 架构中最值得等技术报告的一部分不能仅凭名称推断其全部效果。2.3 Stable LatentMoE高稀疏路由把优化与通信推到前台K3 的有效激活比例为 16/89616/896约 1.8%。这让单 token 的前馈计算远低于“全参数激活”的 2.8T 模型却也使路由、专家负载与跨卡通信成为一等问题。博客列出三项配套设计Quantile Balancing按 router score 的分位数分配专家容量减少启发式均衡更新和敏感超参数Per-Head Muon按注意力头而非整体统一优化提升超大训练中的适应性fully balanced expert-parallel training使用静态 shape避免关键路径上的主机同步以减轻专家并行时的吞吐波动。猫先生认为K3 的工程高稀疏 MoE 的瓶颈不再只是“专家够不够多”而是路由、并行和缓存能否稳定地让这些专家为真实 agent 工作。这也是它把模型架构与部署基础设施放在同一节解释的原因。3. CodingK3 把长程自主执行当作核心能力博客将长程编码放在最前面模型需要浏览大型仓库、调用终端工具、持续数小时处理工程任务并根据截图或视觉输出迭代前端、游戏和 CAD 工作。GPU kernel optimization 的评测让模型在相同 sandbox 中独立工作最长可运行 24 小时覆盖 AttnRes、KDA 和 512 维 MLA kernel。官方称 K3 在该设置下与 Claude Fable 5可能含 fallback具有竞争力并明显优于若干其他对比模型。这个案例说明 K3 不只生成代码还要 profile、修改、编译、测试和比较指标但它仍是厂商定义任务且有模型 fallback 和数值容忍度等条件不能直接视为通用工程生产力的独立排名。MiniTriton 案例更像端到端能力展示K3 从零搭建一个紧凑的 Triton 类 GPU 编程系统包括 MLIR 上的 tile-level IR、优化 pass 和 PTX 代码生成之后用 nanoGPT 训练验证编译链路。博客给出的证据支持“模型能把多个工程子系统串起来”它不等价于对 Triton 全部特性、鲁棒性和长期维护性的替代。4. Knowledge Work 与原生多模态从检索答案到组织可交互产物K3 的知识工作展示集中在长程检索、工具调用、图表和可交互交付物。ASIC 行业研究案例涉及 2.8k 余次网页检索/抓取、1.1k 余次终端数据获取、11k 余页面和数十份财报引力波案例则使用并发子 agent、文献综合与数据可视化。这些案例强调的不是“模型看过很多网页”而是 Agent 能否维持一条长任务链找到来源、抽取数据、交叉验证、生成图表、将结果做成能继续探索的 dashboard。Widgets 与 Dashboard 是产品层为此提供的持久化界面它们不直接证明底层模型更聪明但降低了长程成果在用户工作流中丢失的概率。博客还把视觉、视频和代码放在同一个模型里称其可通过“vision in the loop”根据实时截图调整游戏或前端。原生多模态的价值在于agent 不需把视觉状态先交给外部 OCR 或专用视觉模型再转换成文本。5. 评测在 max reasoning effort、temperature 1.0、top-p 1.0 的设置下官方表格列出 K3 在多个方向的结果图 2Kimi K3 官方博客中的 Coding 基准图。所有模型均使用高思考强度其中 Fable 5 的部分结果可能包含 fallbackGPT-5.6 Sol 的部分结果含有 cyberguard这些条件使横向比较需要结合脚注理解。CodingDeepSWE 67.5、Program Bench 77.8、FrontierSWE 81.2、SWE Marathon 42.0AgenticBrowseComp 91.2、DeepSearchQA 95.0、AutomationBench 30.8ReasoningGPQA-Diamond 93.5、HLE-Full 43.5VisionMMMU-Pro 81.6、MathVision 94.3、OmniDocBench 91.1。这些数值说明 K3 并非只为单一代码基准调优覆盖了 agent、推理和视觉评测。但表格也明确标注了比较条件差异不同模型使用 KimiCode、Claude Code、Codex 等不同 harness一些对手的成绩取自公开排行榜Claude Fable 5 在部分设置可 fallback 到 Claude Opus 4.8部分基准由 Gemini 3.1 Pro 充当 judge。因此K3 在官方选择的高 effort、工具化评测设置中处于强竞争区间它在某些条目领先在一些最强闭源对手上仍落后。官方自己也承认其整体用户体验与 Claude Fable 5、GPT 5.6 Sol 之间存在明显差距。6. 可用性、推理成本与部署约束API 定价为 cache-hit 输入 0.30/MTok、cache−miss输入0.30/MTok、cache−miss输入3.00/MTok、输出 $15.00/MTok。官方称编码工作负载的 cache hit rate 可超过 90%这解释了为什么 prefix cache 对 K3 很关键百万上下文若每轮都全额重算实际成本会迅速失控。部署层面官方建议使用至少 64 个加速器的 supernode。它一方面说明 2.8T MoE 可以通过量化、专家并行和缓存做出较有竞争力的服务价格另一方面也说明“开放权重”不等于个人或小团队能轻松本地部署。K3 的硬件门槛、量化后质量和不同推理引擎的兼容性仍需等权重与报告发布后验证。7. 局限思考历史依赖与过度主动官方列出的第一个限制是thinking history sensitivity。K3 按“保留思考历史”的模式训练若 agent harness 没有完整回传历史 thinking 内容或一个进行中的会话从别的模型切换到 K3生成质量可能明显不稳定。这个限制意味着它不能被当作任意 OpenAI-compatible 接口的无缝替换编排层需要理解模型的上下文契约。第二个限制是excessive proactiveness。为了长程、困难任务优化后模型面对小问题或模糊意图时可能替用户作出超出预期的决定。官方建议通过更明确的 system prompt 或 AGENTS.md 加边界。这是 agent 模型很典型、也很实际的风险能力越强错误的自主扩张越需要被产品约束、权限系统和人工确认所限制。总结K3 的技术思想是一套“长程 Agent 的效率栈”Kimi K3 当前可确认的贡献不是一篇已完成的技术论文而是一份信息密度较高的发布博客架构层KDA、AttnRes 与高稀疏 Stable LatentMoE 面向超长上下文和超大规模训练系统层量化、专家并行、缓存和大通信域部署共同决定推理是否可用能力层编码、知识工作和原生视觉被统一为能持续调用工具、观察结果并交付产物的 Agent产品边界思考历史必须正确保留模型也需要抑制过度自主行动。K3 的完整判断仍要等权重与技术报告发布后届时应重点关注 KDA/AttnRes 的定义与消融、16/896 专家的真实激活与负载、训练数据与安全策略、视觉能力来源以及是否有可复现的长程 Agent 评测。