公司动态
Kimi K3 和 Claude Fable 5 实测:4 道难题跑完,谁更稳、谁更快?
Kimi K3 和 Claude Fable 5 实测4 道难题跑完谁更稳、谁更快本文基于 Crazyrouter OpenAI-compatible API 的真实请求与本地 Python 验证。站内原文https://crazyrouter.com/zh/blog/kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026?utm_sourcecsdnutm_mediumarticleutm_campaignkimi_k3_fable5_benchmark_20260718utm_contentcsdn_kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026__canonicalutm_termkimi-k3%20claude-fable-5如果只问一句“哪个模型更强”通常得不到有用答案。真正落到 API 使用时开发者更关心的是复杂数学推导会不会在中间算错、物理题能不能正确拆阶段、长代码会不会被截断、响应到底要等多久。这次我把kimi-k3和claude-fable-5放到同一组测试里用完全相同的接口和题目分别测试数学带模式重叠的偏置硬币停止时间物理完全非弹性碰撞、摩擦和弹簧压缩编程生产日志去重、时间窗口和多级排序文本推理五个人、六条条件的唯一排班。先说最值得注意的结果Fable 5 本轮平均响应约37.1 秒Kimi K3 约108.0 秒前者接近快了 3 倍Kimi K3 的数学推导更稳Fable 5 虽然最终答案正确但中间回代出现了算术错误编程题第一轮两个模型都在4000 tokens上限处被截断把代码题上限提高到7000 tokens后两份 Python 代码都通过了同一组 8 个断言。这轮没有出现“一个模型四项全胜”的情况。更准确的结论是Fable 5 快Kimi K3 在复杂数学自检上更稳而长代码是否可用首先受输出预算影响。一、测试环境同一接口、同一题目、同一参数测试时间为 2026 年 7 月 17 日。开始前先请求/v1/models确认模型列表中确实存在kimi-k3 claude-fable-5正式请求统一走Base URL: https://cn.crazyrouter.com/v1 Endpoint: POST /v1/chat/completions temperature: 0.2 第一轮 max_tokens: 4000 编程复测 max_tokens: 7000第一轮每个模型跑 4 道题共 8 个请求。代码题发生截断后再用压缩版提示词各复测一次。评价标准不只是 HTTP 200还包括最终数值是否正确 中间推导能否回代 是否正确处理题目边界 finish_reason 是 stop 还是 length 代码能否在 Python 3.11 直接运行 同一组断言是否全部通过 API 返回的 token 和总耗时二、总结果Fable 5 更快Kimi K3 的数学过程更稳测试任务Kimi K3Claude Fable 5本轮判断偏置硬币直到出现HHTH最终值和中间状态均正确107.6s最终值正确但中间回代有误37.6sKimi K3 更稳非弹性碰撞后压缩弹簧正确115.6s正确36.4s两者通过Python 日志聚合4000 tokensfinish_reasonlengthfinish_reasonlength两者都被截断五人排班约束推理唯一解正确96.7s唯一解正确26.9s两者通过Python 日志聚合7000 tokens8 个断言通过145.2s8 个断言通过46.6s两者通过Fable 更快第一轮四题的平均耗时Kimi K3: 108.0 秒 Claude Fable 5: 37.1 秒需要强调这只是本轮 API 请求的观测值。渠道负载、缓存和并发都会影响延迟不能把单轮结果直接当成固定 SLA。三、数学题最终答案正确不代表每一步都正确数学题的设定是P(H) 3/5 P(T) 2/5 不断投掷直到第一次出现 HHTH 模式允许重叠 求期望投掷次数这道题不能简单用1 / P(HHTH)因为HHTH存在单字符H的前后缀重叠。需要建立前缀自动机S0 空前缀 S1 H S2 HH S3 HHT S4 HHTH吸收态状态方程为E0 1 pE1 qE0 E1 1 pE2 qE0 E2 1 pE2 qE3 E3 1 qE0正确结果E0 715/54 ≈ 13.2407407407Kimi K3 的表现Kimi K3 不仅给出715/54还正确回代出E1 625/54 E2 475/54 E3 170/27它又用模式 border 公式做了一次独立验证E 1 / P(HHTH) 1 / P(H) 1 / (p³q) 1 / p 715/54再把硬币改成公平硬币结果回到经典值18。状态方程、边界公式和特例三者一致。Fable 5 的表现Fable 5 的最终答案也是715/54主要状态转移也写对了但它在回代时把E3 写成 421/135 E2 写成 1517/270这两个中间值与原方程不一致。也就是说它属于“最终答案正确但局部验证算错”。这类问题在实际工作中很隐蔽。如果只检查最后一行会判定通过如果下游程序还要继续使用中间值就可能把错误放大。所以数学题这一轮我会把 Kimi K3 判为更稳而不是简单判成平局。四、物理题先碰撞再压弹簧能量不能混着算题目参数m1 2.0 kgv1 6.0 m/s m2 3.0 kg初始静止 完全非弹性碰撞 动摩擦因数 μ 0.20 弹簧劲度系数 k 500 N/m g 9.8 m/s²第一阶段是完全非弹性碰撞只能用动量守恒V m1v1 / (m1 m2) 2×6 / 5 2.4 m/s碰撞前后动能碰撞前36.0 J 碰撞后14.4 J 碰撞损失21.6 J第二阶段才是组合体压缩弹簧。最大压缩时速度为 014.4 1/2·500·x² 0.20·5·9.8·x 250x² 9.8x - 14.4 0 x ≈ 0.2212 m ≈ 22.12 cm两个模型都算对了共同速度、能量损失和最大压缩量也都指出如果错误地把碰撞当成弹性碰撞会得到约0.360 m的虚高结果。Fable 5 进一步写出了弹性碰撞后两车会分离Kimi K3 则检查了60%的动能损失比例。物理题可以判定两者都通过。五、编程题4000 tokens 下两者都没交出完整答案编程题要求实现aggregate(records,start,end)输入是模型调用日志需要处理同一个request_id的多次重试只保留时间上的最后一条记录只统计半开区间[start, end)汇总成功率、平均延迟和 input/output/cache tokens按失败数、平均延迟和请求 ID 做多级排序兼容Z时区、缺失 cache 字段和空输入。第一轮统一给max_tokens4000结果非常有代表性Kimi K3: finish_reason length Fable 5: finish_reason lengthKimi K3 的大量输出预算消耗在 reasoning最终没有形成完整的可见代码Fable 5 已经输出了主要代码但尾部说明被截断。所以第一轮不能直接说“谁不会写代码”。更准确的说法是两者都没有在给定输出预算内交付完整结果。提高到 7000 tokens 后再测第二轮把提示词压缩为“只输出代码和不超过 10 行说明”同时提高输出上限模型耗时completion tokensfinish_reasonPython 验证kimi-k3145.2s5,199stop8/8 断言通过claude-fable-546.6s3,710stop8/8 断言通过两份代码都能在 Python 3.11 直接执行覆盖了重试记录覆盖旧结果 半开区间右边界不计入 缺失 cache_read_tokens 按 0 空输入不除零 失败数降序 平均延迟降序 request_id 字典序 相同时间戳的稳定选择Kimi K3 的版本更防御性会把时间统一转成 UTC并额外返回attemptsFable 5 的版本更短结构也更直接。代码能力这一轮可以判平但 Fable 5 的交付速度明显更快。六、文本推理题两者都找到唯一排班五位工程师需要安排在周一至周五条件包括Ada 不在周一或周五 Bo 早于 Deng且不相邻 Cici 恰好在 Ada 的下一天 Eli 不在周二 Deng 不在周四 周三不是 Cici关键排除过程Ada 只能在周二、周三、周四Ada 如果在周二Cici 就会在周三直接冲突Ada 如果在周四剩余 Bo、Deng、Eli 的安排会把 Eli 推到周二因此 Ada 只能在周三Cici 在周四最后由 Bo 早于 Deng 且不相邻得到 Bo 在周二、Deng 在周五、Eli 在周一。唯一解周一周二周三周四周五EliBoAdaCiciDeng两者答案一致也都给出了可以人工复核的排除过程。这一题没有明显质量差距主要差别还是响应时间。七、为什么 Kimi K3 会慢这么多第一轮 usage 汇总Kimi K3 completion tokens: 13,975 其中 reasoning tokens: 约 12,500 Fable 5 completion tokens: 10,187 本轮响应没有报告 reasoning tokensKimi K3 的大量预算用于内部推理这与数学题更完整的自检相吻合但也带来两个工程后果响应明显更慢长代码任务更容易在有限 token 预算内没有留下足够的最终可见输出。因此不能只看模型“会不会做”还要看预算如何分配。如果业务需要直接交付长代码应同时监控finish_reason completion_tokens reasoning_tokens 可见 content 长度 代码测试结果八、实际选型建议更适合优先选择 Kimi K3 的情况数学、算法证明或多阶段推导需要更多自检可以接受更高延迟请求允许较大的输出预算最终结果会经过二次验证而不是追求最快返回。更适合优先选择 Claude Fable 5 的情况更重视交互速度和短时间交付任务结构明确输出不需要超长推理批量调用对延迟比较敏感可以通过程序校验中间数值和代码结果。编程任务的共同建议无论用哪个模型都不要只看 HTTP 200。至少检查assertresponse.choices[0].finish_reasonstopassertresponse.choices[0].message.content生成代码后还应执行统一测试。否则一个被截断的代码块也可能被日志系统记录成“请求成功”。九、如何复现这组测试可以使用 OpenAI Python SDK 调用 CrazyrouterfromopenaiimportOpenAI clientOpenAI(api_keyYOUR_API_KEY,base_urlhttps://cn.crazyrouter.com/v1,)defrun(model:str,prompt:str,max_tokens:int4000):responseclient.chat.completions.create(modelmodel,temperature0.2,max_tokensmax_tokens,messages[{role:system,content:严格基准测试只给可验证结论。,},{role:user,content:prompt},],)print(model:,response.model)print(finish_reason:,response.choices[0].finish_reason)print(usage:,response.usage)print(response.choices[0].message.content)returnresponse run(kimi-k3,YOUR_TEST_PROMPT)run(claude-fable-5,YOUR_TEST_PROMPT)API endpoint 不需要也不应该添加 UTM 参数。两个模型必须使用完全相同的 prompt、temperature、输出上限和验收程序结果才具有可比性。十、这轮测试能说明什么不能说明什么它能说明两个模型当前都能通过 API 调用 Kimi K3 的数学中间过程在本轮更可靠 Fable 5 在本轮明显更快 两个模型的长代码都可能受输出上限影响 提高预算后两份 Python 代码都通过了相同断言它不能证明Kimi K3 在所有数学题中都更准确 Fable 5 永远比 Kimi K3 快 3 倍 四道题足以代表所有业务负载 单次延迟能够代表长期 P95 或 P99更严谨的生产测试应该把每类任务重复 20 至 50 次统计成功率、P50/P95 延迟、截断率和单位通过任务的成本。十一、FAQ1. Kimi K3 是否一定比 Claude Fable 5 更准确不能这样概括。本轮数学题 Kimi K3 的中间校验更准确但物理、代码和文本推理的最终结果都没有拉开明显差距。2. 为什么代码题第一轮两个模型都失败了不是 API 失败而是max_tokens4000不够finish_reason都是length。提高到7000后两份代码均完整返回并通过测试。3. 为什么 Kimi K3 返回更慢本轮接口报告 Kimi K3 使用了大量 reasoning tokens。更长的推理过程通常意味着更高延迟也会压缩最终可见内容的预算。4. Fable 5 数学题最终答案还能用吗最终值715/54是正确的但它给出的两个中间状态值错误。如果业务只需要最终答案可以通过如果要复用推导过程应重新计算或程序回代。5. 哪个模型更适合写代码本轮提高预算后两者代码都通过 8 个断言。Fable 5 更快、更短Kimi K3 的输入处理更防御性。应根据真实代码库继续测试而不是只看这一题。6. 这次延迟可以当作线上性能承诺吗不可以。上游负载、渠道、缓存和并发都会改变延迟。生产决策应使用多轮采样的 P50、P95 和 P99。十二、最终结论这轮kimi-k3和claude-fable-5对比最有价值的不是给两个模型排一个绝对名次而是暴露了三个真实的工程问题最终答案正确不代表中间过程没有错误HTTP 200 不代表长代码完整返回模型的 reasoning 预算会直接影响延迟和最终可见输出。如果任务偏数学推导、允许较长等待Kimi K3 本轮表现更稳如果任务更在意交互速度Fable 5 更有优势。对于代码生成两者都应该配合足够的输出预算和自动化测试。复现入口Crazyrouter 注册https://crazyrouter.com/register?utm_sourcecsdnutm_mediumarticleutm_campaignkimi_k3_fable5_benchmark_20260718utm_contentcsdn_kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026__body_ctautm_termkimi-k3%20claude-fable-5API Base URLhttps://cn.crazyrouter.com/v1建议记录字段requested_model、returned_model、finish_reason、completion_tokens、reasoning_tokens、总耗时和本地测试结果。CSDN 图片与原文本文图片使用 Crazyrouter 稳定公网图床已验证返回 HTTP 200文中没有使用 GitHub Raw、本地路径或需要鉴权的图片地址。完整站内原文与后续更新https://crazyrouter.com/zh/blog/kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026?utm_sourcecsdnutm_mediumarticleutm_campaignkimi_k3_fable5_benchmark_20260718utm_contentcsdn_kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026__canonicalutm_termkimi-k3%20claude-fable-5建议标签Kimi K3、Claude Fable 5、大模型测试、AI API、Python