StateM:扩展控制层,终端代理精度达95.3%且成本直降38倍!
在评估复杂任务中的大语言模型智能体时,研究人员经常观察到一种极具启发性的失败模式:底层的语言模型明明具备解决任务每一个局部步骤的能力,但整个智能体运行却依然走向失败。
在评估复杂任务中的大语言模型智能体时,研究人员经常观察到一种极具启发性的失败模式:底层的语言模型明明具备解决任务每一个局部步骤的能力,但整个智能体运行却依然走向失败。
当我们在评价一个WebAgent(网页智能体)有多聪明时,通常看的都是它能不能把任务干完。如果让它去买一台相机,只要它最终在一个电商网站上找到了商品并点击了购买,现有的评测基准往往就会给它打个满分。
现代大语言模型展现出了一种被称为“上下文学习”(In-ContextLearning,ICL)的非凡能力。当给定少量的示例或部分序列时,一个参数已被冻结的Transformer能够推断出生成数据的隐藏规则,并将其应用于新的输入,而无需进行任何昂贵的梯度更新。
在海量文本数据中提取核心信息时,主题模型(TopicModeling)一直扮演着关键角色。从经典的隐狄利克雷分布(LDA)到近年来基于深度神经网络甚至大语言模型(LLM)的进阶方案,现有的主题建模方法在不断提升统计学意义上的连贯性。
大型推理模型(LargeReasoningModels)如DeepSeek-R1和GPT-5正在以前所未有的速度重塑复杂任务的解决边界。然而,当这些庞大的模型在生成长篇幅回答时,幻觉问题依然是悬在真实落地应用头顶的达摩克利斯之剑。
在当今的大语言模型(LLM)应用中,开发者正试图将越来越多的信息塞进单次API调用里。尤其是多智能体(Multi-agent)系统和增强记忆的架构,其Prompt中往往充斥着大量的协调内容——包括智能体间的历史对话、共享状态、工具输出结果、记忆摘要以及极其详尽的角色设定。
大语言模型(LLM)的应用正在发生一场不可逆转的结构性转变:从简单的单轮提示词(Prompting),全面转向由工具调用、检索、分支、检查点和人工审批构成的显式工作流(ExplicitWorkflows)。
深度学习的演进史上,很少有技术能像如今的大模型这样,在短短几年内彻底重塑整个行业的底层逻辑。过去,研究人员习惯于针对单一任务从零开始训练模型;而现在,整个AI界都在拥抱一种全新的范式:“预训练+微调”。
在构建复杂的大语言模型系统中,开发者常遭遇一个幽灵般的工程难题。看似相同的系统架构,实际运行时的智能表现却大相径庭。这种差异的根源,往往隐藏在系统与模型交互的上下文结构中。随着多步推理和工具调用的普及,提示词早已不再是静态的文本。它变成了一个随着时间线动态演进、不断累积历史信息的复杂组合体。
当前大语言模型的惊人突破,无一例外地建立在海量无监督文本的“投喂”之上。仅以知名的CommonCrawl为例,其包含了自2008年以来抓取的超2500亿个网页。这些未经雕琢的原始数据总量高达惊人的11PB,并且每月还在以数十亿的速度膨胀。然而,将所有可获取的数据毫无保留地塞进神经网络,真的是一...
当我们在跟大语言模型对话,或者让视觉模型识别图像时,它们的注意力真的都放在你精心准备的提示词或核心物体上吗?事实并非如此。研究人员发现了一个极其反直觉的现象:无论模型多么先进,它们总是会将海量的“注意力”倾注在毫无语义信息的“废话”上。
当前,各大AI厂商都在疯狂内卷大语言模型的上下文窗口长度,百万级Token的输入似乎已经成为前沿模型的标配。然而,仅仅给模型塞入海量的上下文,它就真的能完美处理长周期的复杂任务吗?
当前的大语言模型虽然能在单次对话中对答如流。但一旦进入长期交互,它们常常会陷入“记了新的,忘了旧的”的窘境。现有的记忆系统大多采用统一流式更新。这意味着每一次日常闲聊的噪音,都可能直接污染已经建立的核心知识库。如何让Agent既能快速吸收新信息,又能稳固保持长期记忆?
大模型领域的“军备竞赛”正从参数量向上下文窗口急剧转移。当业界还在为几十万Token的窗口欢呼时,谷歌丢出了一枚重磅炸弹。该研究正式推出了Gemini1.5系列模型,最高支持令人咋舌的1000万Token的上下文。这意味着什么?它能一口气吞下长达107小时的音频数据。
随着上下文窗口越来越长,大模型在长周期任务中依然常常迷失。它们要么被历史交互中堆积如山的无效信息淹没,要么陷入死循环,疯狂消耗宝贵的API额度。过去,为了解决这个问题,开发者们通常会手写一套复杂的脚手架(Harness)代码。这些脚手架负责截断上下文、重试错误、解析输出。
大语言模型的世界一直被逐字生成的自回归机制统治。虽然扩散模型承诺了令人兴奋的并行生成前景,但它们在文本质量上始终无法与自回归模型抗衡。为什么扩散模型在图像领域大杀四方,在文本生成领域却总是“差一口气”?
大语言模型的世界正在悄然发生深刻的变革。传统的自回归生成模式正逐渐显露出其在复杂推理上的局限。块级扩散语言模型(Block-wiseDiffusionLanguageModels,DLMs)异军突起。这种新兴架构允许以任意顺序一次性生成多个Token,展现出极大的灵活性。
当最先进的大语言模型试图解开复杂化学反应的奥秘时,它们却经常在最基础的环节栽跟头。为什么一个能写出完美代码的AI,却连简单的环状分子结构都容易认错?该研究指出,罪魁祸首并非模型本身的推理能力不足,而是我们给模型喂入数据的“方言”不对。长期以来,化学界习惯使用现成的文本格式来表示分子结构。
长期以来,创造力被普遍视为人类智能的“终极前沿”。即使大语言模型在标准化考试和代码生成上屡创佳绩,生成兼具新颖性与实用性的绝妙点子,似乎仍是人类独有的特权。然而,一项由微软亚洲研究院、剑桥大学等机构联合发布的研究彻底打破了这一固有认知。
大模型推理成本高昂,长文本处理更是内存“吞金兽”。如何在保证千亿参数级别强大推理能力的同时,将推理吞吐量提升数倍?NVIDIA最近开源的Nemotron3Super交出了一份惊艳的答卷。这款总参数量达120B(激活参数仅12B)的模型,不仅原生支持高达100万的上下文窗口,更在复杂推理场景下实...
当一辆由大语言模型控制的自动驾驶汽车遇到严重火灾,而正前方却亮着红灯时,它该怎么做?是违规闯红灯以求生存,还是死板地遵守交通规则等待救援?传统的生成式智能体(GenerativeAgents)在模拟人类合作行为时表现优异。但在面临生存与规则冲突的复杂决策时,它们往往显得异常死板。
当前,大语言模型(LargeLanguageModel,LLM)Agent正频繁游走于海量且固定的外部数据中。无论是数万条用户反馈语料库,还是庞大复杂的企业级代码仓库。面对同一数据源的反复查询,现有系统的表现却像在不断经历“系统重启”。它们要么在冗长的对话记录中迷失,要么仅仅依靠被动的切片检索...
今天的智能手机与车机屏幕早已无处不在,但内置的语音助手往往只能完成定闹钟、查天气等刻板任务。一旦需求稍微超出预设模板,它们便会显得捉襟见肘,难以真正理解用户的复杂意图。如何打破这种“伪智能”的僵局?清华大学、华为、小米、vivo等九大顶尖产学研机构联合发布了一项重磅研究。
在真实的业务部署中,决定一个大语言模型(LLM)任务表现的,往往不仅是其内部那堆被冻结的千亿参数,更是包围在模型外围的“脚手架”——系统提示词、注入的背景知识、运行时的重试控制循环以及各类配置参数。当模型权重不可触及(由于使用闭源API或微调成本极其高昂)时,优化这些外围结构成了开发者手中唯一...