Nemotron-CLIMB代理模型完全指南：如何利用小模型预测大模型行为

Nemotron-CLIMB代理模型完全指南如何利用小模型预测大模型行为【免费下载链接】nemotron-climb-proxy-models项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/nemotron-climb-proxy-modelsNemotron-CLIMB Proxy Base Models是由NVIDIA开发的两款轻量级解码器 transformer 语言模型包括62M和350M参数版本它们通过Megatron-LM代码库从零开始预训练可作为代理模型预测大模型行为帮助研究人员节省计算资源。为什么选择Nemotron-CLIMB代理模型Nemotron-CLIMB代理模型的核心优势在于其高效预测大模型行为的能力。传统的大模型训练需要巨大的计算资源投入而这两款小模型62M和350M参数能够在低计算成本下模拟大模型的行为趋势为研究人员提供宝贵的参考。它们采用深度为32层的架构这种深而窄的设计使其能更好地近似十亿规模模型的层动态提高了缩放定律外推的代理保真度。同时使用WSDWarmup-Stable-Decay学习率调度确保在10万亿 tokens 的长周期训练中保持稳定。模型架构详解基本架构架构类型Transformer仅解码器网络架构采用RMSNorm、SwiGLU激活和旋转位置嵌入RoPE的纯解码器 transformer。模型变体对比变体参数数量层数检查点大小62M6200万32~837 MB350M3.5亿32~4.5 GB注意检查点大小包括优化器状态和RNG状态适用于继续预训练。关键设计选择深而窄的架构两种变体都使用32个 transformer 层对于其参数数量而言异常深以更好地近似十亿规模模型的层动态提高缩放定律外推的代理保真度。WSD学习率调度采用Warmup-Stable-Decay调度用于在10T tokens上进行稳定的长周期训练。单张量并行秩两种模型都使用TP1进行训练以简化检查点分布和下游使用。主要应用场景Nemotron-CLIMB代理模型专为机器学习研究人员和工程师设计适用于以下场景缩放定律实验 预测更大模型的损失、下游准确性或紧急行为从小型模型趋势中获取大模型的性能表现。配方迁移 在扩展之前以低成本验证超参数选择学习率、批大小、数据混合避免在大模型上进行昂贵的试错。代理调优研究 研究微调动态SFT、RLHF、DPO如何跨模型尺度转移帮助开发更有效的大模型调优策略。奖励模型代理训练 训练轻量级奖励模型用于对齐研究降低大模型对齐研究的门槛。模型版本信息变体训练迭代次数训练 tokens训练节点检查点62M2,499,00010T8iter_2499000/mp_rank_00/model_optim_rng.pt350M2,384,05310T16iter_2384053/mp_rank_00/model_optim_rng.pt两者均为v1.0版本发布。如何开始使用环境准备Nemotron-CLIMB代理模型需要以下环境支持运行时引擎Megatron-LM原生检查点格式也可转换为HuggingFace Transformers格式进行推理支持的硬件微架构NVIDIA AmpereA100、NVIDIA HopperH100、H200、NVIDIA LovelaceL40SCPU推理也可行支持的操作系统Linux获取模型要开始使用Nemotron-CLIMB代理模型首先需要克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/nemotron-climb-proxy-models输入输出格式输入类型文本输入格式标记ID整数序列输入参数一维1D标记ID序列输出类型文本输出格式每个位置的词汇表上的下一个标记logits输出参数二维2D——序列长度 x 词汇表大小注意这些是基础预训练语言模型输入是标记化文本。模型接受标准的因果LM输入未经过指令调优。训练数据与评估训练数据集数据模态文本训练数据大小1万亿 tokens数据收集方法自动化标记方法不适用属性1万亿 tokens内容是英语网络文本可能包括各种类型的公开可用网络内容文章、博客、论坛等测试与评估数据集测试数据集100亿 tokens与训练数据来源分布相同评估数据集100亿 tokens与训练数据来源分布相同伦理考量偏见问题Nemotron-CLIMB代理模型在设计和测试中未特别考虑受保护类别的参与也未采取措施减轻不必要的偏见。可解释性预期任务/领域缩放定律研究模型类型Transformer预期用户从事缩放定律实验、超参数配方转移、代理调优研究和奖励模型代理训练的ML研究人员和工程师输出文本每个位置词汇表上的下一个标记logits未经指令调优或对齐的原始概率分布技术限制与缓解作为基础非对齐模型输出是未过滤的下一个标记分布可能产生有害、有偏见或不准确的文本。模型在Common Crawl/DCLM的英语网络文本上训练可能无法很好地泛化到非英语语言或专业领域。其主要价值是作为预测更大模型行为的代理模型不适合直接部署在生产系统中。安全与隐私模型应用领域为缩放定律研究没有生命关键影响。使用时需遵守NVIDIA开放模型许可协议。模型训练使用大规模公开可用数据NVIDIA在收集和使用这些数据时遵守适用的数据保护和隐私法律。总结Nemotron-CLIMB代理模型62M和350M为机器学习研究人员提供了一个强大而经济高效的工具用于预测大模型行为、验证超参数选择和进行缩放定律研究。通过使用这些代理模型研究人员可以在投入大量计算资源之前快速探索和验证各种假设和策略从而加速大模型研究和开发的进程。无论是进行缩放定律实验、配方转移、代理调优研究还是奖励模型代理训练Nemotron-CLIMB代理模型都能为您的研究提供有价值的 insights帮助您在AI模型开发的道路上走得更远、更高效。【免费下载链接】nemotron-climb-proxy-models项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/nemotron-climb-proxy-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考