M5 Max上的Qwen-AgentWorld-35B-A3B-oQ4：实测32K上下文下的终端模拟能力

M5 Max上的Qwen-AgentWorld-35B-A3B-oQ4实测32K上下文下的终端模拟能力【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4Qwen-AgentWorld-35B-A3B-oQ4是专为Apple Silicon优化的AI模型采用oQ4量化技术实现约4.6 bpw的混合精度在M5 Max设备上展现出卓越的终端模拟能力与32K上下文处理性能。本文将从性能表现、终端模拟功能和实际应用场景三个维度为您呈现这款模型的核心优势。惊人的性能突破32K上下文下的速度与效率在M5 Max40核GPU128GB RAM设备上的测试数据显示Qwen-AgentWorld-35B-A3B-oQ4实现了令人印象深刻的性能表现。当处理32768 tokens上下文并生成128 tokens时模型的首次令牌生成时间TTFT仅为11.5秒解码速度达111 tok/s峰值内存占用控制在23.2 GB。与全精度BF16版本相比oQ4量化带来了显著提升内存占用减少约2/3从68.7 GB降至23.2 GB解码速度提升约1.66倍从67 tok/s提升至111 tok/s支持8路并发请求时聚合解码速度可达325 tok/s实现2.40倍的吞吐量提升专业级终端模拟命令预测与环境交互Qwen-AgentWorld-35B-A3B-oQ4内置强大的终端模拟能力通过特定系统提示即可激活Linux终端仿真模式。模型能够接收bash命令并生成符合实际终端行为的输出结果支持文件系统操作、进程管理等常见命令的准确预测。标准使用示例mlx_lm.generate --model mlx-community/Qwen-AgentWorld-35B-A3B-oQ4 \ --system-prompt You are a language world model simulating a Linux terminal. Given the users command, predict the terminal output. \ --prompt $Action: execute_bash\nCommand: ls -la /home/user/project/ \ --max-tokens 512 --temp 0.6推荐采样参数temperature0.6、top_p0.95、top_k20可平衡输出的准确性与多样性。模型默认启用思考模式/think.../RichMediaReference能够模拟命令执行过程中的内部推理逻辑。实用价值与质量保障小样本测试中的高精度表现尽管仅为100题小样本测试Qwen-AgentWorld-35B-A3B-oQ4在基准测试中展现出与全精度模型相当的性能MathQA84.0%BF16版本为85.0%MMLU-Pro77.0%BF16版本为76.0%这表明oQ4量化技术在大幅降低资源消耗的同时成功保留了原始模型的核心能力。特别适合需要处理长文本上下文的终端自动化、命令行辅助和系统管理场景。快速开始指南克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4使用mlx_lm运行终端模拟mlx_lm.generate --model ./Qwen-AgentWorld-35B-A3B-oQ4 \ --system-prompt You are a language world model simulating a Linux terminal. Given the users command, predict the terminal output. \ --prompt $Action: execute_bash\nCommand: [您的命令] \ --max-tokens 512 --temp 0.6Qwen-AgentWorld-35B-A3B-oQ4以其高效的资源利用、强大的终端模拟能力和32K上下文支持成为M5 Max用户的理想AI助手为开发者和系统管理员提供了一个快速、准确的命令行预测工具。【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考