TransMem:不必重算长上下文,稀疏隐藏状态化身外挂记忆
为了让 TransMem 学习到通用的“信息提取与利用能力”,而非特定的事实知识,作者提出了一种优雅的训练策略: 证据条件自蒸馏(Evidence-Conditioned Self-Distillation, ECSD) 。上图 (b) 揭示了该训练范式的精髓。
为了让 TransMem 学习到通用的“信息提取与利用能力”,而非特定的事实知识,作者提出了一种优雅的训练策略: 证据条件自蒸馏(Evidence-Conditioned Self-Distillation, ECSD) 。上图 (b) 揭示了该训练范式的精髓。
来自美国东北大学与明尼苏达大学的研究团队提出了全新解决方案 SparseDitto 。该系统将大语言模型(LLM)的开放代码生成能力与基于真实硬件测量的闭环反馈相结合,为任意给定的稀疏矩阵、算子和目标 GPU 动态定制最优的底层 CUDA 内核。
来自华中科技大学、南方医科大学、香港科技大学、新南威尔士大学与浙江大学的研究团队,针对这一严峻临床痛点提出了名为 ATLAS 的框架。该方法跳出了“单次生成解答”的传统交互套路,将临床指南图谱与多智能体策略深度耦合。
为了破解上述矛盾,ElasticBack 提出了一种以“门控词”(Gate Words)为枢纽、将触发词视作激活开关的联合优化框架。整个攻击流程的核心思想是: 先利用语义锚定技术在技能文档中精准植入一条带有严格约束边界的休眠规则 ,将其参数与行为锁定后,再依托黑盒代理模型。
为了打破这种“单兵死磕”的局部最优困境,来自 IMEC 与 AILabs 的研究团队提出了名为 KernelArc 的多 Agent GPU 内核协同优化架构。
北京智源人工智能研究院、香港理工大学、中国人民大学与中国科学技术大学的研究团队在近期工作中指出了这一结构性缺失,并提出了名为 DisCo 的技能驱动型科研智能体框架。
当视频生成的分辨率迈向720p、1080p,生成时长从数秒拉长到数十秒甚至一分钟时,扩散模型底层的计算范式正撞上一堵难以逾越的显存与算力墙。目前开源和闭源的主流视频扩散Transformer(VideoDiT),大多重度依赖全时空三维Softmax注意力。
在复杂的大模型智能体(Agent)任务中,开启推理模式(如思维链或强化学习诱导的“思考”机制)往往能带来显著的成功率提升。然而,这一表现的背后往往伴随着沉重的推理溢价(ReasoningPremium):模型的输出Token数量通常会膨胀3到6倍,并且每次交互、每个任务实例都要重新进行一遍完整...
在当今的高性能机器学习系统中,GPU内核的执行效率往往决定了整个大模型推理或训练的吞吐天花板。然而,在实际的工业部署环境中,开发者常常面临一个极为棘手的黑盒困境:那些真正跑在显卡上的算子,往往只是一团无法直接阅读和修改的编译后二进制文件。
随着大型语言模型(LLM)能力的飞速提升,我们见证了它们在诸多单步交互任务中展现出令人惊艳的表现。然而,当这些模型被真正放入自主代理(Agent)系统中,去执行需要长期规划、多步推理和复杂环境交互的任务时,一种被称为“参差智能”(JaggedIntelligence)的现象便会显现:它们在某些...
大模型正从单纯的聊天机器人向能够操作工具、浏览网页和处理文件的AIAgent演进。在这个过程中,提示注入(PromptInjection)成为了横亘在应用落地前的一座大山,并被普遍视为AIAgent面临的首要安全威胁。
在大语言模型(LLM)的发展进程中,扩展定律(ScalingLaws)长期主导着预训练阶段的资源投入。然而,随着推理模型和强化学习在测试时计算(Test-timecomputation)上的突破,行业逐渐演化出两条平行的扩展轴线:一是继续扩大预训练基础模型的参数规模,二是在测试阶段通过强化学习...
随着当代视觉与大语言模型(LLMs)参数规模的指数级增长,其在推理阶段所消耗的计算资源与显存带宽已成为实际部署中的严峻挑战。在众多模型压缩策略中,网络剪枝(NetworkPruning)因其能够直接移除冗余权重而备受关注。特别是在大模型时代,传统的“剪枝-微调”范式由于高昂的重训练成本变得不再现实。
在过去几年中,模仿学习(ImitationLearning,IL)已经成为理解和训练大型语言模型(LLM)的核心范式。从最基础的指令微调(SFT)到更高级的模型对齐,我们都可以将其视为让一个学习者(模型)去模仿一个专家(人类反馈或更强大的教师模型)的序列决策过程。
在大语言模型(LLM)的后训练(Post-Training)阶段,强化学习(RL)已经成为提升模型特定领域能力的标准范式。无论是利用可验证奖励进行数学推理训练,还是在沙盒环境中进行代码能力的代理式强化学习,或者是基于规则反馈优化指令遵循能力,针对单一领域的强化学习管道往往能够稳定且大幅度地提升...
在大型语言模型的后训练(Post-training)阶段,如何将强大的闭源或超大参数模型(Teacher)的推理能力,高效地迁移到参数量较小的模型(Student)身上,一直是工业界和学术界死磕的核心命题。
在大型推理模型的部署中,知识蒸馏(KnowledgeDistillation)是将数百亿参数模型的强大能力压缩至轻量级模型的核心手段。长期以来,离线策略(Off-policy)蒸馏占据主导地位,即让学生模型在教师模型预先生成的静态数据上进行训练。
大语言模型正在加速演进为能够自主执行复杂任务的智能体(Agent)。在这一演进路线中,模型面对的最核心挑战之一不仅是“如何准确地生成工具调用参数”,更在于一系列离散的战略决策:“何时该调用工具”、“何时该消化工具的返回结果”,以及“何时该直接用自然语言回答用户”。
在当前的大语言模型(LLM)Agent研究中,工具调用能力已成为其与真实世界交互、解决复杂任务的核心基石。然而,当开发者们不断赋予Agent各种能力时,一个明显的效率瓶颈逐渐显现:现有框架绝大多数依赖由“原子操作”(AtomicActions)组成的静态工具集。
在大型语言模型的自我进化路线中,带有特权上下文的同策略自蒸馏(On-PolicySelf-Distillation,OPSD)一直被视为一种极具潜力的范式。这种方法让模型互为师生,同时给予“教师”模型额外的特权信息(例如标准答案或完整解题步骤),从而引导“学生”模型更高效地学习。
在大语言模型的后训练(Post-training)阶段,如何有效地将强大的闭源或超大参数模型的能力“灌输”给较小的学生模型,一直是极具挑战的核心命题。在过去的探索中,同策略蒸馏(On-PolicyDistillation,简称OPD)凭借其能够提供密集奖励信号、且不易发生灾难性遗忘的优势,迅速...
随着多模态基础模型和智能体系统的快速演进,图形用户界面(GUI)智能体正经历从单平台任务执行向跨平台复杂交互的关键跨越。真实世界的数字工作流往往需要跨越桌面应用程序、移动端App和Web服务,这就要求智能体不仅能适应异构的GUI环境,还要准确保留各个平台独有的交互习惯。
带有可验证奖励的强化学习(RLVR)是当前激活大型语言模型深层推理能力的核心密码。从各大顶尖机构的动作来看,让模型在数学、代码等逻辑严密领域通过自我纠错和多步推理来获取高分,已经成为一种标配。然而,这种后训练(post-training)范式极其昂贵。
当前,大语言模型正从被动响应的知识库,向主动解决现实难题的通用求解器跨越。实现这一跨越的核心,在于彻底打通智能体、逻辑推理与代码这三大核心能力。然而,闭源巨头在特定领域表现惊艳,开源界却始终缺乏一个能统一上述能力的轻量级霸主。本文将深入剖析清华大学与智谱AI最新联合发布的GLM-4.5及其轻量版。