谷歌DeepMind推出Gemma 4：用“瑞士军刀“重新定义开源AI的边界

这项由谷歌DeepMind研究团队主导开发的技术报告于2026年7月2日正式发布论文编号为arXiv:2607.02770v1有兴趣深入探究的读者可通过该编号在arXiv平台检索完整技术文档。当人们谈起AI大模型时脑海中往往浮现出那种巨无霸式的存在——需要整栋楼的服务器才能运行普通人和中小企业根本无缘触碰。谷歌DeepMind团队显然也意识到了这个问题于是他们做了一件很有意思的事造出一把瑞士军刀式的AI工具包既能处理文字、看懂图片、听懂声音还能在手机等普通设备上跑起来同时在复杂推理任务上的表现甚至能与那些体量大得多的巨无霸比肩。这套工具包就是Gemma 4。把Gemma 4理解成一个瑞士军刀工具包再合适不过——它不是单一的一把刀而是一整套从折叠小刀到开瓶器都配齐的组合。Gemma 4家族包含从23亿到310亿参数不等的多个型号有适合在手机和平板上运行的轻量款E2B和E4B也有追求性能上限的旗舰款31B。其中还有一个混合专家架构的型号26B-A4B这种架构的思路类似于在餐厅里只有在有人点鱼时才叫厨师长出来掌勺平时让助手打理日常菜式从而大幅节省算力和内存。更值得关注的是Gemma 4是完全开源的采用Apache 2.0许可协议发布。这意味着任何开发者、研究者甚至是课余时间捣鼓AI的学生都可以免费获取、修改和部署这套模型。一、一把刀要能切菜也要能开瓶——理解Gemma 4的多模态能力过去AI模型大多像是专科医生看文字的不懂图片懂图片的不会听声音。Gemma 4的设计目标是成为一个全科医生能同时处理文字、图像和音频三种信息。在文字处理方面Gemma 4沿用了谷歌Gemini模型的分词器词汇表拥有26.2万个条目能够细腻地理解多种语言的语义。训练数据涵盖网页文档、代码、图像和音频截止日期为2025年1月内容横跨多个领域和语种。在图像理解方面较小的E2B和E4B型号配备了1.5亿参数的视觉编码器而31B和26B-A4B这类更大的型号则使用了5.5亿参数的视觉编码器。这些编码器本质上是一种叫做视觉变换器Vision Transformer的架构可以把图片切割成16×16像素的小格子来理解。更聪明的地方在于这些编码器支持不同宽高比的图片输入不会强行把一张宽屏风景照压缩成正方形——这就像打印照片时选择了保持原始比例选项而非把人脸拉宽变形。视觉编码器支持的最大图像词元数可以理解为图像的分辨率细节量有70、140、280、560和1120五档可选。在音频处理方面E2B和E4B配备了3.05亿参数的音频编码器基于谷歌的通用语音模型USM架构由两层下采样卷积层和十二个Conformer层组成每次处理40毫秒的音频片段。有意思的是相比上一代Gemma 3n这次的音频编码器参数量减少了整整55%从6.8亿降到3.05亿但性能不降反升这种用更少做更多的设计哲学贯穿了整个Gemma 4的研发思路。二、12B型号的大胆尝试——彻底扔掉独立编码器会怎样Gemma 4家族中有一个特别另类的成员12B模型。其他型号都保留了独立的视觉编码器和音频编码器而12B模型则采用了一种被称为无编码器架构的全新设计思路相当于把专科医生的诊室直接合并成了一间通科门诊。具体来说12B模型在处理图像时不再经过那个5.5亿参数的视觉编码器而是直接将48×48×3像素的RGB图像块通过一个只有3500万参数的大型矩阵乘法操作投影到语言模型的嵌入空间中。为了让模型知道图像的空间位置关系比如左上角的东西和右下角的东西不一样研究团队在图像块的表示中直接加入了基于二维坐标的位置编码。在音频处理上12B模型做得更彻底——那个3.05亿参数的USM编码器被整个丢弃了。取而代之的是原始音频按照每40毫秒一段、每段640维向量的方式直接投影进语言模型的嵌入空间。由于音频天然是时间序列不需要额外的位置编码。这种设计的好处是显而易见的减少了内存碎片就像把办公室里散落的各个部门整合进一个大开间不再需要在各个房间之间反复奔走也降低了系统复杂性。从后续的评测结果来看12B模型在音频转录和翻译任务上的表现依然具有竞争力证明了无编码器这条路在技术上是可行的。三、长文本处理的内存噩梦以及Gemma 4的解法处理长文本对AI来说是个真实的痛苦。当模型需要记住一本书的内容时它要在内存里维护一个叫做KV缓存的结构用来存储之前看过的所有内容的关键信息摘要。文本越长这个缓存就越大最终可能大到撑爆内存。Gemma 4为此设计了一套组合拳来解决这个问题核心思路是区分需要全局记忆和只需局部记忆的注意力层。绝大多数注意力层采用滑动窗口机制就像你读书时只看眼前这几行不需要时刻回忆第一章说了什么只有少数几个全局注意力层才负责把整本书的线索串联起来。E2B型号的比例是4个局部层对应1个全局层其余型号是5个局部层对应1个全局层。除此之外研究团队还引入了一种叫做p-RoPE的位置编码方法p值为0.25专门用于全局注意力层。这种方法的效果是进一步压缩全局KV缓存的体积。结合另一项用键作为值的技巧即在全局注意力层中不再单独维护值矩阵而是直接复用键矩阵适用于12B、26B-A4B和31B型号以及E2B和E4B型号上的KV缓存共享比例分别为20/35和18/42这一套组合拳能够将全局KV缓存的体积压缩高达37.5%。全局注意力层的RoPE频率设为100万局部注意力层的RoPE频率设为1万。四、让AI思考后再回答——思维模式的引入Gemma 4引入了一个被称为思维模式的功能。开启这个功能后模型在给出最终答案之前会先生成一段推理过程——就像一个学生在答题时先在草稿纸上演算再把最终答案誊写到卷子上而不是凭直觉乱写一气。从评测数据来看思维模式对需要严谨推理的任务帮助显著。以2026年AIME数学竞赛这是一项专门考察高中生数学能力的顶级竞赛为例Gemma 4 31B在开启思维模式后的得分高达89.2分而上一代Gemma 3 27B只有20.8分——这几乎是四倍的提升。在编程竞技平台Codeforces的Elo评分上31B模型达到了2150分而Gemma 3 27B只有110分差距同样触目惊心。五、让大模型跑得更快——多词元预测草稿头在AI回答问题时生成文字的速度往往成为体验的瓶颈。Gemma 4引入了一种叫做多词元预测草稿头MTP Drafter的机制来加速这个过程其背后的原理是推测解码。可以把这个过程理解为一个快手助理和一个严谨审稿人的分工协作。助理草稿头先快速猜出接下来可能要说的几个词审稿人主模型则以极低的成本同时审核这些猜测接受正确的、丢弃错误的。由于大多数时候助理猜对了整个生成过程就被大幅加速了。技术实现上草稿头是一个独立的4层变换器模块它接收主模型最后一层的激活值和KV缓存并通过交叉注意力机制与主模型的KV缓存进行交互从而无需重新进行预填充计算也支持任意长度的草稿。草稿头的模型维度在E2B和E4B上是256在26B-A4B和31B上是1024包含三个局部注意力层和一个全局注意力层。针对E2B和E4B这类边缘设备上运行的小模型研究团队还做了进一步优化将草稿头投影到整个词汇表26.2万个词条的操作替换为先在词元聚类上做Top-k筛选再在候选集4096个词条上做最终矩阵乘法。这样计算量大幅下降同时接受率基本不受影响。六、把模型压小而不让它变笨——量化感知训练一个用bf16浮点精度存储的31B模型需要占用64GB内存——这对于绝大多数用户的设备来说根本装不下。Gemma 4提供了多种量化版本通过量化感知训练QAT在训练阶段就让模型适应低精度运算从而在推理阶段可以用更少的比特位来存储参数而质量损失极小。针对移动端设备Gemma 4提供了混合低比特量化方案权重采用int2和int4混合精度激活值采用int8精度。这种方案下E2B的内存占用从4.6GB降至0.8GBE4B从9.0GB降至2.3GB。针对桌面端和服务器场景提供了Q4_0方案按块量化31B模型的内存占用从64GB降至19.2GB。量化技术同样被应用到了图像和音频编码器上。1.5亿参数的图像编码器采用8位权重和激活量化W8A8后前向传播的总内存占用从400MB降至200MB在较新硬件上的延迟也降低了44%。音频编码器经过激活量化为8位、权重按层聚类量化为2/4/8位的混合精度处理后磁盘存储体积从Gemma 3n的390MB压缩到了87MB缩减幅度高达78%。与此同时为了在fp16精度下实现稳定推理研究团队在每个模型块中引入了一个标量缩放因子用于将激活值的范围约束在fp16能表示的范围内防止数值溢出导致的计算错误。七、训练基础设施用专用芯片集群训练这些庞然大物训练这些模型当然不是在普通电脑上完成的。Gemma 4使用了谷歌自研的TPU张量处理单元集群。E2B和E4B在TPUv6e上训练分别使用了4096和6144块芯片12B模型在TPUv5p上训练使用了12288块芯片26B-A4B在TPUv6e上使用6144块芯片31B则在TPUv6e上使用10240块芯片。训练过程中采用了三维并行策略数据并行把不同的训练样本分给不同的芯片、序列并行把同一个超长序列切段分给不同的芯片和副本并行。优化器的状态采用ZeRO-3分片技术分散存储避免单块芯片的内存被撑爆。多机架训练时数据副本的梯度汇聚通过数据中心网络完成采用了谷歌Pathways系统的异步分布式数据流方案。为了应对大规模训练中难以避免的硬件故障研究团队还引入了切片粒度弹性技术当部分TPU芯片出现局部故障时系统可以自动以更少的芯片继续训练而不是整体暂停重启将故障造成的中断从原来的数分钟压缩到几秒钟。整个编译和并行化过程由GSPMD分区器和MegaScale XLA编译器共同完成。八、指令调优让模型听懂人话还能慢慢想预训练完成的模型就像是一个博览群书但不知道如何与人交流的学者。指令调优Instruction Tuning的作用是让这个学者学会好好说话能够理解用户的意图并给出有帮助的回答。Gemma 4的后训练流程沿袭了Gemma 3的基本方式但最重要的新增内容是思维模式的训练。数据过滤方面训练数据经过严格筛选剔除了含有特定个人信息、不安全或有毒输出、错误自我认同信息以及重复样本的内容。同时训练数据中加入了鼓励模型进行上下文归因、适当表达不确定性以及拒绝回答的子集这些数据在改善模型真实性表现的同时并不会拖累其他指标。九、评测成绩这把刀到底有多快Gemma 4的表现在多个维度上都交出了令人印象深刻的成绩单。在Arena人类评测平台上这是一个让真实用户盲测不同模型并投票的平台使用Elo积分制类似于国际象棋的等级分Gemma 4 31B以1451分的Elo积分位列所有开源模型中密集型架构的第一名排在总榜第43位。这个名次意味着它超越了大量参数量是它几十倍的MoE巨型模型。Gemma 4 26B-A4B则以1438分位列第61位。作为对比上一代Gemma 3 27B只有1366分排在第157位——这是跨越式的进步。在综合能力基准测试MMLU Pro上31B达到85.2分E2B也有60分而Gemma 3 27B是67.6分意味着E4B69.4分这个参数量只有它约六分之一的小模型已经追平了上一代旗舰。在科学推理基准GPQA Diamond涉及生物、化学、物理等学科的研究生难度题目上31B达到84.3分E2B也有43.4分Gemma 3 27B是42.4分——连最小的E2B都超过了上一代旗舰。在指令遵循能力测试IFEval上31B高达98.9分E2B也有94.6分。在多语言理解MMMLU上31B达到88.4分E2B有67.4分。长文本处理能力同样大幅提升在128k上下文长度的RULER测试中31B和26B-A4B分别达到96.4和89.8分而Gemma 3 27B只有66.0分。视觉能力方面31B在MMMU Pro视觉推理测试中达到76.9分使用1120视觉词元的最高分辨率在数学视觉推理MATH-Vision上达到85.6分在信息图表理解InfographicVQA上达到92.0分。即便是最小的E4B在全部视觉测试项目上都持平或超越了Gemma 3 27B。音频能力方面Gemma 4 E2B在CoVoST多语言语音翻译任务上的平均BLEU分从Gemma 3n E2B的31.6提升到35.4相对提升12%在FLEURS多语言语音识别任务上的平均词错误率从0.108降至0.090相对提升17%。Gemma 4 E4B同样比Gemma 3n E4B分别提升了10%和12%。考虑到音频编码器的磁盘占用同时缩减了78%这种越缩越强的表现着实出人意料。十、安全与责任一把好刀也要有刀鞘功能越强大的工具潜在的滥用风险也越大。谷歌DeepMind团队在Gemma 4的安全性上投入了大量精力标准与内部的Gemini商业模型相同。在内容安全层面Gemma 4明确禁止生成儿童性虐待材料CSAM、危险内容如鼓励自残或教授现实世界危害活动的内容、露骨性内容、仇恨言论如对受保护群体的非人化描述以及骚扰内容如煽动对他人施加暴力。训练数据经过专门处理去除了特定个人信息和其他敏感数据。后训练评估和训练时的干预措施也同步实施以确保模型行为与安全政策对齐。评估结果显示Gemma 4在所有内容安全测试类别中均显著优于Gemma 3和Gemma 3n同时将不合理拒绝的比例保持在较低水平——这意味着模型在规避有害输出的同时不会过度谨慎到变得没用。所有安全测试均在不使用任何安全过滤器的条件下进行以准确评估模型自身的能力和行为边界。在更宏观的责任层面谷歌DeepMind坦承开源AI在推动技术民主化的同时也存在被恶意利用的风险。团队承诺持续提供教育资源并监控模型的下游使用情况并表示只有在判断收益明显大于可预见风险时才会向社区发布模型。说到底Gemma 4做的事情归结为一句话在更小的刀鞘里装进了更锋利的刀而且这把刀能切很多种不同的东西。从31B旗舰款在人类评测中力压众多参数量是它数十倍的MoE巨型模型到E2B这个轻量款以十分之一的参数量追平上一代旗舰再到12B模型完全抛弃独立编码器却依然交出有竞争力的多模态成绩Gemma 4在每个尺寸段都提出了用更少资源做更多事的清晰主张。对于普通开发者和研究者而言这套Apache 2.0开源工具包意味着他们终于可以在自己的笔记本电脑或小型服务器上运行一个真正能看图、能听声、能深度推理的现代大模型而不必再为天价的云端API费用发愁。至于Gemma 4未来能在哪些现实场景中改变人们的工作和生活或许才刚刚开始被探索。对这项技术感兴趣的读者可以通过arXiv编号2607.02770查阅完整的技术报告深入了解每一个设计决策背后的详细推导。QAQ1Gemma 4和普通闭源AI大模型有什么本质区别AGemma 4是完全开源的采用Apache 2.0许可协议任何人都可以免费下载、修改和部署不需要通过API付费调用。闭源模型则由公司控制用户只能通过服务接口使用无法查看或修改模型内部结构。Gemma 4的开源特性让开发者可以在本地运行不依赖网络也没有数据隐私方面的顾虑。Q2Gemma 4的思维模式是怎么工作的Q3Gemma 4 12B的无编码器架构和其他型号有什么不同A其他Gemma 4型号都保留了独立的视觉编码器1.5亿或5.5亿参数和音频编码器3.05亿参数而12B模型完全抛弃了这两个独立模块。图像通过一个仅3500万参数的矩阵乘法直接投影进语言模型音频则以原始640维向量直接投影无需专门编码器处理。这种设计减少了内存碎片、降低了系统复杂性且实际评测表明音频和图像能力并未因此大幅下滑。