当精确推断遇上循环：概率编程语言的底层设计思考

最近在逛技术社区的时候看到一个很有意思的标题“Show HN: A probabilistic programming language with exact inference and loops”。如果只看前半句“概率编程语言”和“精确推断”在圈子里已经不稀奇了但后面那个“loops”让我停了很久。先别急着给我贴“这是某某项目的广告”的标签。我之所以想写这篇文章是因为“循环”这个词在概率编程里出现远不止是“支持 for 循环”这么简单。它背后牵扯到的是一整套关于推断方式、表达能力、实际可用性的取舍。读完这个标题我的第一反应是这个项目不是想做一个功能更全的 Pyro 或 Stan而是想解决一个更底层的问题——当概率模型里出现循环时精确推断还能不能成立以及怎么高效成立。这篇文章不打算复述项目文档也不打算把所有 API 罗列一遍。我更想从“为什么要做这样一个语言”出发把它的设计逻辑、适用场景、边界和坑讲清楚。如果你正在做贝叶斯建模、因果推断、程序合成或者只是对概率编程好奇但被 MCMC马尔可夫链蒙特卡洛的收敛诊断劝退过这篇文章应该能给你一些不一样的视角。1. 先搞清楚“精确推断”和“循环”为什么会放在一起很多人看到“精确推断”这四个字下意识会理解为“结果更准”。这个理解不算错但很容易跑偏。在概率编程的语境里“精确”通常意味着不需要采样近似而是通过符号推导、动态规划或消息传递把后验分布的解析形式或数值结果直接算出来。这跟 MCMC 那种“通过大量随机游走逼近分布”的路线有本质区别。那“循环”呢在普通编程语言里循环是实现迭代、批处理、递归的基础。但在概率编程里循环带来的麻烦是模型的结构不再是固定的静态图而是跟数据长度、控制流、条件分支相关。比如一个隐马尔可夫模型状态序列长度是多少循环就执行多少次。这种动态结构对基于静态图做推断的框架来说是非常不友好的。所以这个标题真正想问的问题是能不能有一门语言既能像普通程序一样用循环描述重复的随机过程又能在不牺牲可解释性的前提下把后验精确算出来1.1 采样派和精确派的路线之争本质是“通用性”和“确定性”的取舍现在主流的概率编程工具比如 Pyro、Stan、NumPyro基本走的是采样路线。它们对模型结构几乎没有限制甚至你可以在模型里写 if-else、for 循环只要最终能给出一个对数概率密度函数就能用 NUTSNo-U-Turn Sampler或 HMCHamiltonian Monte Carlo去采样。这种做法的优点是通用缺点是慢、需要调参、需要做收敛诊断而且结果永远是近似。而精确推断的路线比如基于因子图的 Infer.NET或者在符号层面做积分的项目通常只能处理静态结构。一旦模型里有不确定的分支、未知长度的序列推断过程很容易指数爆炸或者直接不支持。“精确推断 loops”这个组合本质上是在挑战“精确僵化”这个隐含假设。它不是想替代采样派而是想在那些结构清晰、可被精确求解的模型类别里提供一种更可靠、更确定的选择。1.2 一个最简单的例子循环里的随机变量怎么推断假设我们要描述一个这样的过程重复抛一枚硬币 n 次记录正面朝上的次数。如果用概率编程语言写total 0 for i in 1..n: total bernoulli(0.3) observe(total k)这个循环在语义上很简单每个bernoulli(0.3)是一个独立的随机变量total是它们的和。我们要推断的是“如果观察到最后总和为 k那每次抛硬币的正面概率应该是什么”。如果 n 是固定的比如 n10这个模型可以展开成一个 10 层的因子图用动态规划精确计算。但如果 n 本身也是随机的呢比如 n 来自一个泊松分布然后循环次数取决于 n。这时候模型的结构就不是静态的了精确推断需要能在“动态上下文”里传播概率信息而不是把图展开后一次性求解。“支持 loops”意味着这门语言能在运行时处理这种动态结构并在每个循环迭代里做局部精确更新而不是简单地把循环展开成静态图。这听起来有点像“在线贝叶斯更新”但实现起来比静态展开复杂得多。2. 这个项目真正吸引我的地方不是功能而是它的底层选择如果只是“支持 for 循环”那很多 DSL领域特定语言都能做到。真正难的是在保持精确推断的前提下如何处理循环带来的变量生命周期、中间状态、条件分支和随机跳转。我尝试从工程经验角度还原一下这类语言大概率会做哪些选择。当然这不一定完全对应那个项目的实现但可以作为我们理解同类问题的通用框架。2.1 静态图展开 vs 动态调度这是地基差异静态图展开的思路是把所有循环都展开成无环图然后一次性求解。这种方法适合固定长度、固定结构的模型但对变长序列、递归结构、提前退出这类情况无能为力。动态调度则是边执行边推断。程序每运行到一个随机赋值语句就施加一次“局部推断”每运行到一个 observe 或 condition就做一次“条件约束传播”。循环在这里不是被展开而是被解释执行每一轮迭代都更新当前概率环境。这种设计的优势是你可以写出更自然的模型描述代码。比如for i in range(steps): x normal(0, 1) if x threshold: break遇到这种提前退出的循环静态展开基本没法处理除非你知道所有可能的退出路径。而动态调度可以比较自然地处理只要在 break 发生时把“退出条件”作为观察约束即可。2.2 精确推断在循环里最常见的实现手段动态规划与消息传递如果模型满足一定条件比如变量之间的依赖关系是序列式的或者条件概率分布是共轭结构那么循环可以被看作一个“时间步”的链可以用前向-后向算法或维特比解码来精确求解。这实际上是 HMM隐马尔可夫模型和卡尔曼滤波器的核心机制。换句话说这门语言不是“强行把所有模型精确求解”而是“在能用动态规划的模型结构上让用户用 loops 自然表达并自动复用经典的精确算法”。这个定位其实非常精准它把编程语言的表达力映射到统计模型的特定结构上。如果用户写了一个高度非线性、非共轭、变量之间互相纠缠的模型精确推断大概率会失效或组合爆炸。这是这类语言的适用边界必须提前说清楚。2.3 循环变量和概率环境的绑定是实现层面的硬骨头普通编程语言里循环变量 i 只是一个整数。但在概率编程语言里如果循环体内有随机变量那么每迭代一次这些随机变量都要被重新分配一个唯一的概率身份。比如for i in range(n): theta[i] ~ beta(1, 1) y[i] ~ bernoulli(theta[i])这里theta[i]不是一个普通数组元素而是一组随机变量。循环每执行一次就要生成一个新的随机变量节点并把它们和观察数据y[i]关联起来。更进一步如果循环体里有局部变量比如s 0 for i in range(n): s s normal(0, 1)这里的s在每次迭代后都会变成一个“新的随机变量”它的概率分布是前一个s和当前噪声的卷积。如果运气好卷积可以保持在同一分布族内如果运气不好就需要近似或截断。这就是为什么“loops”不是语法糖。它在底层要求概率引擎支持“变量重新赋值”和“随机变量的动态创建”。大部分静态概率编程框架不会为你处理这件事。3. 如果你也想做自己的概率编程这五个设计决策必须想清楚我没法替你确认那个项目里每一个 API 的样子但如果你已经被“精确推断 loops”这个思路勾起兴趣甚至想自己动手实现一个最小原型下面这五个决策是绕不开的。3.1 推断引擎选择求精确解还是数值逼近精确推断不是一个单一算法。常见选择有变量消元法适合小规模、稀疏依赖的模型复杂度取决于树宽。信念传播适合树状结构闭环图需要近似或循环信念传播。动态规划适合序列结构如 HMM、卡尔曼滤波器、语法模型。符号积分适合共轭先验模型能给出解析式。你应该先定义“精确”在语言里的语义。是精确到解析表达式还是精确到任意精度数值还是只要在特定模型族里精确即可这个定义会直接决定语言的表达力上限。3.2 循环语义是“重复执行相同代码”还是“按概率动态生成结构”这二者有本质区别。前者是普通循环无论执行多少次模型结构在概念上都是确定的后者则意味着循环次数或路径本身也是随机变量例如n ~ poisson(10)然后for i in range(n)。支持后者才算真正有动态结构。如果你选择支持动态结构那循环体的每次执行都会改变概率环境的维度这对随机变量的内存管理和推断调度都是很大的挑战。3.3 观察语句的命运observe 是硬条件还是软条件很多概率编程语言提供observe或condition用来把某个变量约束到观测值。在普通的采样引擎里observe 只是让对数概率加上一个观测似然项不影响采样过程的主体。但在精确推断里observe 相当于做变量消元时施加了一个确定性条件这会让后续所有依赖该变量的分布发生改变。你需要决定observe 是否允许被重复执行在一个循环里多次 observe 同一个变量是什么语义是取交集还是取乘积这些细节会影响语言的一致性。3.4 随机变量的作用域和生命周期循环里的局部随机变量在循环结束后还存在吗如果下一次迭代定义了同名变量是同一个随机变量还是新的你需要一个“概率环境”的概念类似词法作用域但每个变量都要携带一个分布节点。如果用普通语言实现可以用一个 map 或栈来管理当前环境中的变量和分布。3.5 调试与输出精确推断比采样更容易验证但要小心定义域错误精确推断的一个优点是你很容易写一个测试用穷举或数值积分验证结果是否正确。但正因为如此你要特别小心数值稳定性。比如在循环中反复计算乘积或概率时浮点数下溢是常客。你可以采用对数域运算、归一化常数缓存、或者用高精度库来缓解。4. 这个方案适合谁不适合谁写到这里必须做一个清醒的判断这类语言不会是概率编程的终点它只是补上了一个生态空缺。4.1 最适合的场景结构化序列模型、教学、安全关键型系统如果你主要处理 HMM、层次贝叶斯结构、状态空间模型并且模型规模在可控范围内精确推断带来的稳定性是采样方法很难比的。你不需要做 MCMC 收敛诊断不需要担心链的混合也不需要设置几万次迭代。它特别适合以下情况教学演示用精确结果作为标准答案让学生理解“后验到底是什么”。快速原型验证先用精确推断确认模型构建和表达是否正确再切到大规模采样方案。嵌入式或安全相关场景不允许有近似误差或者无法承担采样带来的随机性和延迟。4.2 不适合的场景高维、高不确定性、复杂生成式模型如果你要处理深度生成模型、非参数贝叶斯、大规模混合模型精确推断基本是死路。这类模型的后验分布没有解析形式也不可能用动态规划在有限时间内完成。即使是带 loops 的精确推断语言也只能在模型的某种局部结构上发挥优势。不要期望有人能写出一个“精确推断一切”的语言。信息论和计算复杂度已经划好了边界工具只是帮你在这条边界内走得舒服一些。4.3 和采样工具搭配使用可能是更实际的路线一个比较务实的做法是用这类精确推断语言来描述核心结构和检验模型定义用 Pyro 或 Stan 做最终的大规模贝叶斯推断。就像我们写复杂 SQL 时先用小数据集 explain再决定是否全量跑一样。精确推断的小模型是一个绝佳的“模型沙盒”。5. 一个通用排查思路如果你的精确推断跑得很慢或爆炸了不管你用的是这个新语言还是你自己动手搭了个玩具引擎遇到“循环精确推断”相关的问题时建议按下面的顺序排查。5.1 先排查模型结构而不是引擎性能模型是不是树状或序列结构有没有大环变量之间的依赖关系是否紧密如果树宽太大精确推断复杂度是指数级的。这时候再调参数也没用。5.2 排查循环体内的随机变量数量是否动态增长例如每次迭代里x[i] normal(x[i-1], sigma)这种模型规模随循环次数线性增长但状态空间可能指数增长。你需要判断每一轮迭代是否能将过去的信息压缩到一个有限维的充分统计量中如果不能精确推断大概率会爆。5.3 排查 observe 的传播时机如果在循环中到最后才 observe前面积累的因子图可能已经过度膨大。更好的方式是在循环内部尽早 observe及时剪枝条件概率空间。很多精确推断语言会做自动剪枝但如果你自己实现就要注意传播时机。5.4 排查数值稳定性在长时间循环中概率值往往越乘越小。建议及时做对数归一化或者在每个观察发生后重新归一化分布。5.5 排查循环控制流是否真的被识别为动态如果你用的是静态展开模式遇到变长循环它可能直接把整个循环按最大次数展开然后判断 extra 的迭代概率为零。这种处理虽然正确但效率很低。你需要检查引擎是否支持运行时展开而不是编译期展开。6. 如果我今天想入门应该先做哪三件事不要一上来就写复杂的模型。我建议按下面这个路径走。6.1 找官方示例先把“硬币序列”和“简单 HMM”跑通用最小数据集跑通一个包含循环的简单模型观察它对循环的处理方式。比如“n 次独立伯努利总和为 k求 θ 的后验”。使用for循环和observe看看输出的分布和你手推的结果是否一致。这是验证语言是否正确理解循环语义的最快方法。6.2 自己动手算一个“可变循环次数”的小例子把循环次数改成随机变量例如n ~ categorical([0.2, 0.5, 0.3])然后在循环里累计变量。观察后验是如何在 n 的所有可能值之间分配的。这类例子能帮你理解动态结构下的精确推断机制。6.3 用标准库做一次采样方法与精确推断的对比在同一个 HMM 例子上用 Pyro 或 Stan 跑 MCMC再和精确推断结果对比。你会直观理解“近似误差”和“收敛诊断”到底意味着什么。这种对比是你日后选择工具的重要依据。7. 不要因为“精确”就以为它一定是更好的最后想多聊一句观点。很多人看到“精确推断”就觉得比采样高级这是一个误区。精确和采样之间不是优劣关系而是取舍关系。精确推断提供了确定性的答案但代价是对模型结构极其敏感采样方法虽然带噪声但能处理几乎任意复杂的模型。真正的工程智慧是知道什么时候该接受近似什么时候必须追精准。从“Show HN”里看到这样一个项目最让我欣赏的其实不是 AI 生成的噱头而是它尝试把“精确”和“循环”这两个在传统上互相冲突的概念重新拉到一张桌子上对话。不管这个项目最终能不能成为主流工具它的存在本身就提醒了我们概率编程语言的发展不只是把现有框架的函数再包装一遍而是要在语言语义层面回答“如何用更自然的方式表达随机过程并给出可靠的推理结果”。所以如果你正在规划自己的概率编程工具或者考虑把它用在某个任务上我的建议是别急着上生产环境。先用几个包含真实循环和精确推断的小模型做实验测它的性能边界、表达能力、数值稳定性。如果它能稳定跑通那些采样方法需要半天才能收敛的模型那它才真正值得进入你的工具箱。如果跑不通也不要否定它把它当作一种对精确推断边界的重新理解也是收获。