llm 软提示词问题：“分布外（OOM）灾难”

llm 软提示词问题：“分布外（OOM）灾难”目录llm 软提示词问题：“分布外（OOM）灾难”1. 什么是“词嵌入的流形”？2. 软压缩是怎么制造出“分布外（OOM）”的？3. 为什么这会带来灾难？1. 什么是“词嵌入的流形”？想象大模型的“词汇表”是一个巨大的星系。每一个正常的单词（比如“苹果”、“开心”、“代码”），在这个星系里都有一个属于自己的固定星球（这就是词嵌入向量）。因为自然语言是有规律的，这些星球并不是随机乱飞的，而是聚集在几个特定的“星云”或者“轨道”上。这个正常的、有规律的活动区域，在数学上就被称为**“流形”（Manifold）**。大模型在训练（特别是 SFT 和 RLHF 对齐训练）的时候，它的“安全守卫”和“理解能力”都是在这个正常的星系（流形）范围内巡逻和学习的。2. 软压缩是怎么制造出“分布外（OOM）”的？“软压缩”技术（比如 Gist Tokens）为了把 1000 个字的 Prompt 压缩成 5 个 Token，它不会去词汇表里找现成的词。相反，它会通过数学计算，直接在空间里“捏”出 5 个全新的向量。问题来了：为了塞下足够多的信息，这 5 个被“捏”出来的向量，往往会飞出那个正常的“星系”，跑到大模型从来没见过的深空宇宙（Out-of-Manifold，即流形之外，简称 OOM）。3. 为什么这会带来灾难？当这几个“深空向量”被喂给大模型时，会发生两件可怕的事情：第一，对齐能力失效（安全守卫瞎了）。大模型的安全机制（比如“不准教人做炸弹”）是在正常的“星系”里训练出来的。当它看