中科院提出CLSR：让大模型自创符号语言，推理Token缩减3-6倍
When LLMs Develop Languages: Symbolic Communication for Efficient Multi-Agent Reasoning
大型语言模型（LLMs）在处理复杂推理任务时，往往依赖于思维链（Chain-of-Thought, CoT）技术。通过让模型一步一步地用自然语言写出推理过程，其准确率确实得到了显著提升。然而，这里隐藏着一个根本性的效率错位：人类用来沟通和理解的自然语言，对于机器的内部逻辑推理而言，真的是最经济、最高效的载体吗？
ArXiv URL：https://arxiv.org/abs/2606.29354v1
长久以来，人类倾向于用人类的语言习惯来约束机器的思维过程。这导致思维链生成的文本极其冗长，充满了为了人类可读性而存在的连接词、语法修饰和冗余解释。对于预算受限的实际部署场景而言，这种高昂的生成 Token 成本成为了难以逾越的瓶颈。
为了打破这一困局，来自中国科学院的研究团队提出了一种极具颠覆性的测试时（test-time）计算框架——Communicative Language Symbolism Routing （CLSR）。这篇论文不再局限于优化提示词或外挂代码执行器，而是直接让多个 LLM 智能体自主发明、演化并共享高度压缩的“机器方言”（Language Symbolism Frameworks, LSFs）。更进一步，研究团队设计了一个无延迟的路由器，能够根据具体问题的难度，自适应地选择和组合这些自创语言，从而在准确率和 Token 消耗之间实现最优的动态平衡。
最值得记住的结论是：在保持原有推理准确率甚至略有提升的前提下，CLSR 框架在七个具有挑战性的基准测试中，将模型生成的推理 Token 数量大幅缩减了 3 到 6 倍。此外，研究不仅在工程上取得了突破，还从信息论的视角推导出了任意符号系统下大模型 Token 消耗的理论下界。
打破提示词工程的幻觉：为何机器需要自己的语言？
在探讨 CLSR 的核心机制之前，有必要理清当前推理优化路线的局限性。近年来，为了让大模型在推理时少说废话，研究界尝试了多种方案。然而，这些尝试在根本上都没有摆脱“人类语言”这一低效媒介的枷锁。
提示词优化方法试图通过寻找更精炼的指令来缩短输出，但它们本质上仍然是在打磨人类自然语言的表面表达，并没有为模型诱导出一个持久的、可复用的、具有组合性质的底层符号系统。模型在每次推理时，依然在使用人类的语法规则进行思考。
另一种主流路径是程序辅助推理。这类方法强制模型将推理过程转化为 Python 等编程语言，然后交给外部执行器运行。虽然这在一定程度上压缩了逻辑表达，但它严重依赖于人类预先设计的中间语言，并没有回答一个更深刻的问题：如果抛开人类强加的编程规范，大模型能否基于自身的 Tokenization 机制和归纳偏置，自发地发现并优化出一种专门针对其自身架构的离散符号语言？
至于基于强化学习的方法，它们虽然能通过验证器反馈生成更紧凑的符号轨迹，但往往伴随着高昂的训练成本和优化过程中的不稳定性。这种重度依赖参数更新的路线，很难实现多智能体之间轻量级的语言演化和快速迭代。
CLSR 的出发点正是基于对上述局限性的反思。研究团队受到新兴通信领域（emergent communication）的启发，将问题转化为一个基于进化搜索的社会语言学过程。如果赋予大模型自主设计的权利，并在自然选择的压力下（即追求回答正确且尽量少用 Token）进行迭代，它们完全有能力演化出比自然语言紧凑得多、且专为机器内部状态转换优化的协议。
CLSR 的解剖学：从语言诞生到智能路由
CLSR 并不是一个单一的黑盒模型，而是一套将语言演化与动态任务分配完美结合的范式。其运作机制可以拆解为语言符号框架的定义、多智能体演化引导以及测试时的自适应路由三大模块。
我们首先需要理解什么是语言符号框架（Language Symbolism Framework, LSF）。在 CLSR 中，LSF 并不是一段用过即弃的 Few-shot 提示词，而是一个高度模块化的通信协议。每一个 LSF 包含了一套紧凑的词汇表（符号库）、一套轻量级的语法或输出模式、明确的使用规则与合法性约束，以及将符号映射到具体推理操作的执行语义。
最关键的是，这些 LSF 完全由 LLM 基于少量训练样例自主归纳生成。研究人员并不规定模型必须用何种符号代表加法，或者用什么格式进行多跳推理，一切都交给模型自己去创造。在实际运行中，一个 LSF 被封装成一张“字典卡片”，其中不仅记录了它的语法规则，还保留了该语言在训练阶段的经验分布特征，例如它的平均 Token 成本、擅长的特定领域以及可能的失败模式。
有了语言的种子后，CLSR 引入了多智能体演化循环。在离线阶段，多个 LLM 实例扮演不同的角色。一些智能体负责根据当前任务提出新的 LSF 草案，另一些则作为批评者对这些草案进行审视，并尝试变异产生更优的版本。
这里的演化压力是明确且残酷的：一个 LSF 只有在能够帮助模型准确回答问题，并且消耗极少 Token 的情况下，才会被保留到最终的候选池中。这非常类似于人类社会中语言的演变——冗长且容易引起歧义的表达会被逐渐淘汰，而那些能够用最少字节传递最核心逻辑的行话和术语则会被广泛采纳和传播。研究发现，在较高的采样温度下，模型能够生成高度多样化的 LSF 群体，从极其严苛的纯机器格式，到带有少量自然语言痕迹的半结构化协议，应有尽有。
当一个饱和且高质量的 LSF 语言池建立完毕后，就进入了测试时的路由阶段。这正是 CLSR 展现出强大灵活性的地方。与传统的“选择一个最优提示词然后贯穿始终”不同，CLSR 将 LSF 视为一组可调用的“语言专家”。
面对一个新的查询，LLM Router（同样由大模型扮演）不会急于直接回答，而是首先生成一个执行计划。这个计划决定了本次推理需要进行几个轮次，每一轮应该调用哪一个或哪几个特定的 LSF，以及何时停止推理并输出最终答案。
对于简单直接的事实性问题，路由器可能会决定只调用一个成本极低的严格 LSF 进行单次生成。而面对极其复杂的数学推导或多跳逻辑链，路由器则可能启动多轮 LSF 组合协议。在这种模式下，模型首先用一种专门用于拆解问题的 LSF 将复杂任务分解，然后再用针对具体计算优化的 LSF 处理子问题，最终汇总得出结果。这种设计显式地将计算预算分配到了最需要的地方，彻底告别了传统 CoT 一刀切的冗长模式。
寻找推理的极限：信息论与可计算性的理论注脚
这篇论文不仅仅停留在工程实现的层面，其最具学术增量的部分在于为“准确率与 Token 消耗的权衡”建立了严谨的理论基础。研究团队将 CLSR 的测试时推理解释为一个受限的随机控制问题。
在任何一次推理交互中，无论模型调用了什么语言，其目标都是在给定的 Token 预算内最大化最终输出正确答案的概率。论文中提出的定理 3.1 证明了，在有限的 LSF 语言池和有限的交互轮数前提下，必然存在一个最优的交互推理策略。这意味着无论问题多么复杂，只要我们能合理地分配预算，就存在一个最优的路由与语言组合路径，能够触及当前模型能力的帕累托前沿。
更深刻的洞见来自于定理 3.2 中对生成 Token 期望下界的推导。研究指出，即使模型发明了极其逆天的压缩语言，其解决一个问题所需的 Token 数量也无法无限逼近于零。这个下界由两个核心变量决定：分子是“所需信息量”，即给定问题背景后，确定最终正确答案所需的额外信息熵；分母则是“当前模型的信道容量”，这反映了模型在使用特定 LSF 符号系统时，每生成一个 Token 所能注入的关于正确答案的有效信息量。
这一理论漂亮地解释了为什么强行通过提示词让模型“简短回答”往往会导致准确率断崖式下跌。如果模型在当前状态下的单 Token 信息承载力不够，而任务本身的熵又很高，那么强行压缩轨迹只会导致必要信息的丢失，从而引发推理崩溃。CLSR 的本质，正是通过演化出来的 LSF，极大地提高了每一步生成的信道容量，使得模型能够用更短的符号序列跨越相同的逻辑鸿沟。
此外，定理 3.3 进一步确立了 CLSR 框架的普适性。研究证明，在解释器可实现的前提下，多轮多 LSF 协议可以在条件上涵盖传统的程序执行（如生成 Python 代码并执行）管道。这意味着，让大模型通过组合不同的机器语言进行多轮通信，其计算表达能力并不弱于借助外部图灵完备语言的方案。这也从侧面印证了，大型语言模型内部确实存在着尚未被完全激发的图灵计算潜能，而合适的符号语言正是解锁这一潜能的钥匙。
实验论证：兼顾准确与高效的帕累托最优
理论的优雅必须在实践中得到检验。研究团队在涵盖了知识密集型问答、多跳检索式问答以及高难度数学问题解决的七个广泛使用的推理基准上进行了全面测试，包括 MMLU-Pro、GPQA、GSM8K、MATH500 和 AIME 等。实验的测试床涵盖了多个主流开源模型，如 Qwen3-8B/32B、LLaMA3-8B 以及 DeepSeek-R1，充分证明了该方法的泛化能力。
结果呈现出惊人的一致性。在所有的测试模型和数据集组合中，CLSR 稳稳地改善了准确率与生成 Token 数量之间的帕累托前沿。以传统的原始思维链（Raw CoT）作为基准，CLSR 往往能在保持相同甚至更高准确率的同时，将生成的 Token 数量削减至原来的四分之一甚至六分之一。
对比现有的直接进行长度控制或词汇压缩的提示词方法，CLSR 展现出了无可比拟的稳定性。那些粗暴要求模型“用最少的字回答”的基线方法，在追求 Token 节省时往往以牺牲大量正确性为代价。这是因为它们并没有为模型提供一套可以依赖的内部推理支架。而 CLSR 虽然输出极其简短，但保留了严密的符号通信协议，并通过路由器根据问题的实际难度灵活调配资源，真正做到了该省的地方省，该花的地方花。
在与程序辅助语言（如 PoT 和 PAL）以及复杂的提示词优化方法（如 Plan-to-Solve 和 PromptBreeder）的正面交锋中，基于 Qwen3-8B 模型的实验结果表明，CLSR 无论是单轮调用还是多轮组合，都展现出了更优的综合效能。在不需要外挂任何代码执行器，也不需要逐题去搜索最优提示词的情况下，CLSR 仅仅依靠自创语言的灵活切换，就达到了极高水准的解题能力。
消融实验进一步巩固了方法的可靠性。研究发现，随着进化深度的增加，整个 LSF 语言池会系统性地向更高的“准确率/Token”比率演进。这意味着多智能体之间的自然选择确实在发挥淘汰冗余、提纯逻辑的作用。
同时，扩大参与离线演化的智能体群体规模，能够显著增加发现那些鲁棒性极强、可高度复用的 LSF 的几率。只要演化目标在正确性和压缩率之间保持合理的平衡，更大规模的群体往往能探索出更加精妙的符号表达方式，从而在下游测试中带来准确率的实质性飞跃。
结语与启发
中科院这项关于 CLSR 的研究，为我们审视大语言模型的行为模式提供了一个极其新颖的切入点。它揭示了一个事实：大模型并不只能作为人类语言的忠实复读机或模仿者。当赋予它们一定的自主度并施加明确的计算压力时，它们有能力发展出属于机器自身的、更加硬核且紧凑的逻辑符号系统。
CLSR 将这种语言的演化过程具象化为一个可以在测试时即插即用的框架。这种脱胎于社会语言学和计算资源约束视角的范式，不仅为缓解当前大模型落地时昂贵的推理成本提供了一剂良方，更指向了未来 AI 智能体之间进行互操作和通信的潜在方向。
在可以预见的未来，当成百上千个 AI 智能体协同工作时，它们之间传递的很可能不再是我们熟悉的冗长的人类文本，而是像 CLSR 中所演化出的那样，极度精炼、充斥着机器方言与符号的高效协议。这标志着人工智能正在逐步摆脱为了迎合人类可读性而背负的计算负担，向着更加纯粹、原生的智能形态迈进。