突破纯文本瓶颈！增强语言模型（ALMs）如何用推理与工具重塑AI边界
Augmented Language Models: a Survey
尽管以大语言模型为核心的技术已深入数百万人的日常，它们依然面临着不可忽视的工程痛点。
ArXiv URL：http://arxiv.org/abs/2302.07842v1
论文原图：用于辅助理解核心方法或实验结果。
纯统计的语言建模范式带来了令人头疼的幻觉，模型在复杂数学计算和实时信息获取上也总是捉襟见肘。
为了打破纯文本生成的局限，学术界正在推动一场大规模的范式转移。
通过赋予模型推理能力与使用外部工具的权限，一种全新的模型形态正在迅速崛起。
本文将深度解析来自Meta AI等机构的重磅综述。
让我们一起揭秘**增强语言模型**（**Augmented Language Models, ALMs**）的底层原理与核心逻辑。
组合性差距与范式转移
在深入探讨之前，我们需要理解为何大模型在复杂推理上频频受挫。核心痛点在于组合性差距。
例如，一个大型模型可能准确记住了一位名人的出生和死亡日期，但却无法正确推算出他的具体年龄。
这是因为纯统计模型难以将子问题的正确答案，严密地组合起来求解最终的复杂问题。
传统语言模型仅依赖模型权重内的参数化知识来生成内容。
这就像是一个被锁在小黑屋里参加闭卷考试的学生，全凭死记硬背的数据作答，极易遇到知识盲区。
ALMs则彻底改变了这一现状。它依然遵循标准的缺失Token预测目标，并未改变基础训练逻辑。
但它可以通过非参数化的外部模块，极大地扩展其上下文处理能力。这就打破了纯语言建模的桎梏。
延续前面的比喻，这就好比给这位闭卷考试的学生发了一张无限大的草稿纸，并允许他使用外部计算工具。
推理机制解析
推理是让大模型将潜在的复杂任务分解为更简单子任务的核心过程。本文梳理了激发推理的三大主流路径。
首先是提示工程。**思维链**（**Chain-of-Thought, CoT**）是最典型的代表。
在少样本场景下，通过在输入中附加中间推理步骤，模型学会了按部就班地解答问题，有效提升了计算准确度。
而在零样本场景下，只需在提示词后简单添加特定引导句，也能显著提升逻辑推理表现。
不过研究表明，如果不进行大量微调，少样本思维链的成功往往高度依赖于模型规模的涌现效应。
通常需要像PaLM或GPT3这样具备100B以上参数的巨型网络，才能展现出稳定且高质量的推理能力。
为了解决多跳问答中的难题，研究者进一步提出了Self-ask方法。
与连续的思维链不同，Self-ask在回答前会显式陈述后续问题，并依赖于特定的脚手架提示。
这使得模型的答案更容易被自动化脚本解析。这种结构也非常便于接入外部搜索引擎，以验证中间步骤的准确性。
其次是递归提示。对于难度极高的问题，模型可以采用分而治之的降维打击策略。
例如**由浅入深提示**（**Least-to-most prompting**）技术。
它先让模型将复杂问题拆解为多个子问题列表，然后依次进行求解。前一个子问题的答案会直接构成下一个问题的上下文。
最后是显式教导推理。由于超长提示词带来的计算成本极为高昂，研究人员提出了在训练阶段注入推理能力的方法。
草稿本机制允许模型在多步计算任务中模拟人类的工作记忆。在预训练时，模型会直接学习包含完整计算步骤的样本。
例如Galactica模型专门引入了特殊的 $
这相当于为模型植入了一个可随时唤醒的内置逻辑引擎，专门用于处理极具挑战性的科学文献计算。
外部工具调用
当遇到仅靠内部逻辑无法解决的硬性事实或复杂方程时，调用外部工具便成了ALMs的核心优势。
第一类是调用其他模型。模型可以通过迭代机制不断完善自身输出。
例如PEER模型被专门训练来反复输出行动计划并修改文本。它可以不断迭代编辑，直到生成的文本不需要进一步更新为止。
ALMs还可以作为通用任务层，零样本接入其他模态的预训练模型。
Socratic Models提供了一种极具创意的模块化框架。在这个框架内，不同模态的预训练模型能够进行自由组合。
通过充当沟通桥梁，语言模型让多个视觉或音频模型互相交换信息，从而无需额外微调就能获得全新的多模态协同能力。
第二类是信息检索。这是降低大模型参数量并消除知识幻觉的关键技术。在工程界，通常面临稀疏检索与稠密检索的权衡。
稀疏检索器依赖于文档和查询的稀疏词袋表示。它们在检查精确的术语重叠方面表现得极为出色，适合硬知识匹配。
相反，稠密神经检索器则利用神经网络输出的稠密向量。这使得它们在计算跨相关概念的语义相似度时具有压倒性优势。
模型通过这类检索器接入外部数据库，直接提取所需片段。像RETRO模型利用冻结的BERT嵌入进行大规模语料检索。
它在极小的参数量下，依然达到了与超大参数模型媲美的下游任务表现。
将检索与推理结合能产生更大的奇效。IRCoT技术将检索与思维链相互交织，用检索指导推理，同时用推理指引下一步的检索方向。
第三类是网络搜索。不再被动摄入预设上下文，ALMs可以化身为主动在数字世界探索的智能体。
WebGPT模型能够与基于文本的网页浏览器实时交互。它不仅能生成搜索查询，还能导航网页、跟随链接并提取准确的引用源。
在模拟电商网站WebShop中，Agent需要根据自然语言指令寻找、定制并购买商品，这展现出了模型极强的战略决策能力。
第四类是代码解释器。纯语言模型在处理大整数运算或复杂符号代数时极易遭遇系统性崩溃。
PAL等机制通过思维链生成包含逻辑解释与Python代码的混合中间步骤。随后，这些代码片段被下发给外部代码解释器执行。
这种将硬核计算卸载给专业计算引擎的做法，极大地弥合了模型在严谨数学领域的能力短板。
具身智能控制
当工具的作用范围从获取数字信息延伸到对虚拟或物理世界产生直接影响时，ALMs便真正具备了行动能力。
在虚拟环境中，语言模型不仅能处理静态文本，还能深刻理解随时间演变的序列目标与行动计划。
它们可以通过输出特定的控制函数，在模拟的家庭环境中指挥虚拟机器人执行日常任务，展现出超越纯语言层面的组合泛化能力。
面对真实的物理机器人，大模型内部丰富的常识编码同样大放异彩。给定一个高维的自然语言指令，模型能将其精准拆解。
结合经典的底层逻辑结构和外部算法库，ALMs可以编写出包含复杂空间几何推理的机器人控制策略代码。
当前局限评估
尽管ALMs展现出颠覆性的巨大潜力，但该方向的前沿研究仍有几片亟待驱散的乌云。
首先是推理痕迹的真实度问题。模型生成的推理步骤看似逻辑严密，但我们并不能绝对保证这些中间步骤的正确性。
多步推理中哪怕出现一个极其微小的事实错误，都可能引发可怕的滚雪球效应，导致最终输出结果南辕北辙。
此外，模型在多大程度上真正依赖这些表面上的推理步骤来支持最终预测，目前在学术界仍是一个充满争议的未解之谜。
在物理行动控制方面，语言模型严重缺乏上下文的物理接地能力。
它虽然懂人类常识，但往往不知道在特定的真实世界物理状态下，哪些特定的机械动作是切实可行且安全的。
为了缓解机器人的物理接地难题，工程界不得不引入诸如预训练价值函数等辅助机制，来判断某个动作在当前环境中执行成功的概率。
工程应用展望
ALMs为工业界大规模落地AI应用指明了一条高度务实且极具性价比的发展道路。
通过外挂非参数化的外部知识库与工具，我们无需花费天价的算力集群去频繁微调模型。
这让模型能够实时掌握世界上的最新信息，大幅缓解了长期困扰行业的可扩展性与知识陈旧焦虑。
同时，要求模型强制输出可执行的计算代码或中间推理过程，使得黑盒系统变得更具可解释性。
人类开发者可以直观地审查、干预并纠正模型的决策执行链路。
可以预见，未来的大型语言模型将不再仅仅是单纯的文字生成器或聊天对话框。
它们必将演化为高度复杂、能灵活调度各类专业工具的中央处理器。这将全面开启通向通用自主智能体的新时代。