|
思维链（CoT）为什么能够提升大模型的表现？大模型又为什么会出现幻觉？ 北大课题组的研究人员，发现了一个分析问题的新视角，将语言数据集和 GPT 模型展开为蒙特卡洛语言树。 具体来说，数据集和模型分别被展开成了Tree 和GPT-Tree 。
结果，他们发现，现有的模型拟合训练数据的本质是在寻求一种更有效的数据树近似方法 ( 即 ) 。 进一步地，研究人员认为，大模型中的推理过程，更可能是概率模式匹配，而不是形式推理。 将数据和模型拆解为蒙特卡洛树 在预训练过程中，大模型通常学习的是如何预测下一个 token（也就是将每个 token 的似然进行最大化），从而对大规模数据进行无损压缩。 其中， 是优化上述似然得到的模型参数。 作者发现，任何语言数据集都可以用蒙特卡洛语言树（简称" Tree "）完美地表示，参数化为。 具体来说，作者采样第一个 token 作为根节点（例如" For "），枚举其下一个 token 作为叶子节点（例如" the "或" example "），并计算条件频率（）作为边。 重复这一过程，就可以得到被语言数据集扁平化的" Tree "。形式上，Tree 满足以下条件： 其中，代表频率函数， 代表第个 token。作者从理论上证明了 Tree 的是上述最大似然的最优解。换句话说，最大化似然得到的模型参数最终都在不断靠近。 类似的，作者提出任意的类 GPT 模型也可以展开成另一颗蒙特卡洛语言树（简称" GPT-Tree "），参数化为。 为了构建 GPT-Tree，作者也从 token 空间采样第一个 token 并将其输入到 GPT，然后记录其第二个 token 以及其概率分布│。 接着，作者枚举所有的第二个 token，并将输入到 GPT 并得到第三个 token 。 重复这一过程，就可以得到 GPT 展开后的" GPT-Tree "。 蒙特卡洛树视角下的新发现 在将数据和模型展开后，作者有了新的发现，并用新的视角解释了一些模型现象。 下图是对 GPT-X 系列模型和 Tree 的树形可视化结果，其中每列代表不同 token，每行代表不同的模型，最后一行代表 Tree。
GPT 模型逐渐收敛于数据树 作者发现，在同一数据集（the Pile）上训练的不同语言模型（GPT-neo-X 系列模型）在 GPT-Tree 可视化中具有显著的结构相似性。
通过对这一结果进行进一步量化，作者发现，GPT 模型越大，越接近 Tree，超过 87% 的 GPT 输出 token 可以被 Tree 召回。 这些结果表明，现有的语言模型本质上寻求一种更有效的方法来近似数据树，这可能证实了LLM 的推理过程更可能是概率模式匹配而不是形式推理。 理解 token-bias 现象和模型幻觉 Token-bias 现象首次发现于宾夕法尼亚大学 Bowen Jiang 等人的研究（arXiv：2406.11050），并被苹果公司的 Iman Mirzadeh 等人进行了进一步的研究（arXiv：2410.05229）。 例如对于一个简单的数学计算问题，" Calculate 123 + 256. "，将最后一个 token " . "扰动成"。"，模型就会错误地回答为" 43 "。 作者认为，token-bias 是由于一些罕见的 token 诱导 GPT-Tree 推断错误的路径。 作者通过评估 21076 对 QA 测试对中不同模型的原始（蓝色条）和扰动（橙色条）精度进一步量化了这一现象。 扰动最后一个 token 后，所有模型的准确性都显著下降。
而至于模型幻觉，作者认为这是由数据树的共现偏差造成。 如下图所示，训练数据表现出多伦多和加拿大这两个术语的高频共现，导致模型严重倾向于这些语料库，从而错将多伦多认为是加拿大首都。
理解思维链的有效性 在蒙特卡洛树的视角下，思维链的有效性也有了新的解释。 对于一些复杂的问题，输入 X 和输出 Y 之间存在明显的 Gap，使得 GPT 模型难以直接从 X 中输出 Y。 从 GPT-tree 的视角来看，输入 X 位于父节点，输出 Y 位于比较深的叶节点。 思维链的原理就是试图弥补这一缺口，即试图寻找路径 Z 来帮助 GPT 模型更好的连接 X 和 Y。
论文地址： https://arxiv.org/abs/2501.07641 项目主页： https://github.com/PKU-YuanGroup/GPT-as-Language-Tree — 完 — 投稿请发邮件到： ai@qbitai.com 标题注明【投稿】，告诉我们： 你是谁，从哪来，投稿内容 附上论文 / 项目主页链接，以及联系方式哦 我们会（尽量）及时回复你
一键关注 � � 点亮星标 科技前沿进展每日见 一键三连「点赞」「转发」「小心心」 欢迎在评论区留下你的想法！ |
