LongCat-Flash-Lite-Sparse震撼发布：美团69B稀疏专家模型如何突破1M上下文处理极限？

LongCat-Flash-Lite-Sparse震撼发布美团69B稀疏专家模型如何突破1M上下文处理极限【免费下载链接】LongCat-Flash-Lite-Sparse项目地址: https://ai.gitcode.com/meituan-longcat/LongCat-Flash-Lite-SparseLongCat-Flash-Lite-Sparse是美团最新发布的69B稀疏专家模型作为LongCat-Flash-Lite的升级版本它创新性地采用了LongCat稀疏注意力LSA技术在保持推理性能的同时原生支持高达1M tokens的超长上下文处理能力为AI应用带来了革命性的突破。 核心技术解析三大创新机制突破上下文瓶颈LongCat稀疏注意力LSA框架LSA是LongCat-Flash-Lite-Sparse的核心创新它在DeepSeek稀疏注意力DSA基础上扩展了三种互补的索引机制 流式感知索引SI将部分token选择预算重新分配给固定sink和本地滑动窗口同时为其余token保留动态稀疏选择。这种设计将碎片化的KV访问转换为更可预测的连续读取显著提高了HBM访问效率和有效带宽。 跨层索引CLI利用相邻层注意力显著性的稳定性允许多个连续层在推理时重用单次索引传递的结果。这一能力通过训练过程中的跨层蒸馏习得大幅降低了计算开销。 分层索引HI采用从粗到细的两阶段评分方案首先使用粗粒度分数召回候选块然后在这些块内执行细粒度token选择。通过减少每个查询处理的候选空间HI降低了索引开销且无需额外训练即可在推理时启用。原生1M-Token上下文支持为增强长上下文能力LongCat-Flash-Lite-Sparse在LongCat-Flash-Lite的长上下文扩展阶段进行了升级采用丰富的语料库和渐进式调度将上下文长度扩展至1,024K实现了对1M tokens上下文的原生支持。强大的智能体性能相比其密集型前身LongCat-Flash-Lite-Sparse在智能体编码、搜索和工具使用任务上表现更出色为构建高效AI助手奠定了坚实基础。 性能评估多项指标领先同类模型标准基准测试在标准基准测试中LongCat-Flash-Lite-Sparse展现了卓越的性能基准测试Lite-DenseLite-Sparse (w/o HI)Lite-Sparse (w/ HI)智能体编码SWE-Bench Verified(acc)54.4068.2065.20SWE-Bench Pro(acc)-40.6339.40SWE-Bench Multilingual(acc)38.1059.3356.00智能体工具使用τ²-Telecom(avg4)72.8095.1896.05VitaBench(avg4)7.0021.6720.42通用领域MMLU(acc)85.5285.3185.14CMMLU(acc)82.4884.2584.51注Lite-Dense表示LongCat-Flash-Lite指标来源于其技术报告。Lite-Sparse (w/o HI)和Lite-Sparse (w/ HI)分别表示未启用和启用分层索引的稀疏变体。长上下文基准测试在长上下文能力方面LongCat-Flash-Lite-Sparse同样表现优异能力维度基准测试Lite-Sparse (w/o HI)Lite-Sparse (w/ HI)基础能力检索MRCR (8-needle)44.6644.47聚合OOLong-Synth38.4237.88多步推理GraphWalks Extend66.2765.63应用能力问答LOFT Retrieval Extend43.7544.38上下文学习HELMET-ICL Extend91.6390.50代码理解LongCodeQA62.3059.37 快速部署指南LongCat-Flash-Lite-Sparse已在SGLang中实现基本适配可在单个节点如1xH20-141G上部署。启动服务器的命令如下python3 -m sglang.launch_server \ --trust-remote-code \ --model meituan-longcat/LongCat-Flash-Lite-Sparse \ --host 0.0.0.0 \ --port 30000 \ --max-running-requests 64 \ --mem-fraction-static 0.93 \ --chunked-prefill-size 2048 \ --nsa-prefill-backend fa3 \ --kv-cache-dtype bfloat16要获取仓库请使用以下命令git clone https://gitcode.com/meituan-longcat/LongCat-Flash-Lite-Sparse 技术细节与资源技术报告tech_report.pdf许可证信息LICENSE配置文件config.json⚠️ 使用注意事项LongCat-Flash-Lite-Sparse并非为所有可能的下游应用专门设计或全面评估。开发人员应考虑大型语言模型的已知局限性包括不同语言间的性能差异并在敏感或高风险场景中部署模型前仔细评估准确性、安全性和公平性。开发人员和下游用户有责任了解并遵守与其用例相关的所有适用法律法规包括但不限于数据保护、隐私和内容安全要求。 联系我们如有任何问题请通过邮箱联系我们longcat-teammeituan.com 或在项目中提交issue。【免费下载链接】LongCat-Flash-Lite-Sparse项目地址: https://ai.gitcode.com/meituan-longcat/LongCat-Flash-Lite-Sparse创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考