AI工程 第2页

AOSpec:动作与观察协同推测,大模型Agent长尾延迟降低42.8%

随着大语言模型(LLM)推理架构的迅猛迭代,解码速度正在被各大服务框架推向极限。无论是专用硬件加速还是投机采样(SpeculativeDecoding),模型输出Token的时间开销已被大幅压缩。然而,在以自主代码编写、系统运维和自动化交互为代表的Agent任务中,用户的真实体感并没有成比例变快。

KV-Skill:将提示词编译为外挂算子,LiveMath准确率升至77.2%

在大模型落地实际任务的过程中,如何赋予模型稳定的“专业技能”,始终面临着一个两难困境。最符合人类直觉的方式是将操作流程写成提示词(TextSkill),这种做法灵活、易读且即插即用,但模型在实际推理时往往难以稳定遵循复杂的文字指令;另一种极端则是通过全量微调或LoRA将技能固化到模型权重中,这...

SeekBrain:用经验配方库驱动多智能体,神经科学基准超 Claude Code 11.7%

现代神经科学正在被海量、异构且跨尺度的实验数据所重塑。研究人员不仅能记录自由活动动物的精细动作姿态,还能同步追踪全脑数十万神经元的动态钙信号、解析突触级连接组,甚至测定单细胞空间转录组。然而,数据爆炸并没有等比例带来科学发现的爆发。

SpecBox:推测式沙箱调度消除冷启动,P99延迟降低2.9倍

在以大语言模型为核心的智能体(LLMAgent)体系中,模型正迅速从纯粹的文本生成器演进为能够自主推理、规划并反复调用外部环境工具的计算中枢。为了保障执行安全与环境隔离,以Anthropic提出的ModelContextProtocol(MCP)为代表的标准化协议,将文件操作、代码执行、网络抓...

NVIDIA与CMU提出CAKE:Agent与编译器协同设计,前沿Kernel提速2.05倍!

在过去几年中,利用大型语言模型(Agent)来编写和优化底层GPU代码(Kernel)成为了提升AI计算效率的热门路径。然而,当前的大部分尝试都面临着一个难以逾越的瓶颈:Agent通常将编译器视为一个僵化的黑盒。它们提交代码、等待编译、运行测试,最后只能获得一个冰冷的报错信息或一个总体的执行延...

微软Specula:告别人工!自进化AI检出249个系统Bug

形式化方法一直被视为软件工程领域对抗复杂系统缺陷的终极武器。对于分布式架构和高并发系统而言,多线程交织调度和网络消息传递的非确定性,使得系统状态空间呈现指数级爆炸。

**TokTier:精确状态感知分词机制,Agent场景提速491倍!**

在当前的大语言模型服务架构中,前缀缓存(PrefixCaching或KVCache)已经成为降低推理延迟的标配。当模型处理多轮对话或长上下文时,前缀缓存能够有效复用已经计算过的状态,避免重复的预填充(Prefill)计算。

Analemma推出FARS:全自动科研系统,量产166篇论文!

过去一年里,AI在科研领域的应用边界被不断拓宽,从文献检索到辅助实验,甚至是端到端的“AI科学家”框架,都展示了语言模型在科学工作流中的巨大潜力。然而,现有绝大多数自动化研究系统往往在精心挑选的示例、人类限定的主题、预定义的基准测试或是狭窄的任务空间内进行展示。

SkillFab:告别一次性代码!华为等打通Agent技能生命周期

当前的大模型智能体(Agent)已经展现出令人惊叹的单点任务解决能力。面对复杂的指令,它们能够自主调用工具、反思错误,并通过与环境的不断交互找到破局之道。然而,这种成功往往是高度脆弱且孤立的。

SkillWiki:哈工大与腾讯打造,打通Agent技能全生命周期演进

随着大语言模型驱动的智能体(Agent)从执行简单的单次工具调用,逐步演进为能够自主执行复杂长周期任务的系统,Agent需要掌握的技能数量和种类正在急剧膨胀。为了在真实环境中有效运作,Agent必须从多种来源获取大量可复用的技能。

中科院等最新实证!4大市场数据揭示Agent Skill复用真相

软件工程的发展史,本质上就是一部关于“复用”(Reuse)的演进史。从早期的复制粘贴代码片段,到引入标准化的库和框架,再到基于云的微服务架构,开发者们一直在寻找更高效的方式来避免重复造轮子。随着生成式AI和自主智能体(AIAgent)的爆发,一种全新的可复用构件正在悄然重塑整个生态——技能(S...

告别“单机时代”:首篇AI Agent通信协议双维分类指南

当无数大语言模型驱动的Agent在企业客服、代码生成和数据分析领域遍地开花时,一个致命的系统性瓶颈已悄然浮现。这些Agent虽然具备强大的推理与执行能力,但它们大多是彻头彻尾的“语言孤岛”。不同厂商、不同架构的Agent各自为战,无法顺畅调用外部数据,更难以实现多智能体间的无缝协作。

告别“阅后即焚”:435篇文献揭秘Agent持久化状态治理机制

现在的智能助手越来越懂你,但大多数仍像是在上演现实版《初恋50次》——一旦单次任务结束,上下文清空,所有的用户偏好和任务教训瞬间清零。这种“单次情景”(Episodic)模式确实安全,因为过去是无关紧要的。然而,为了让真正成为得力助手,它们必然要走向“永远在线”的常驻模式。

SkillAudit揭秘:无真值反馈的Agent技能自进化,任务胜率暴涨17%

大模型Agent在应对专业领域的长周期任务时,往往需要依赖提前编写好的“技能”(Skills)——即结构化的操作指南与代码包。然而,真实业务环境是动态的。随着API接口的废弃、边缘场景的涌现,原本完美的技能很快就会退化甚至帮倒忙。让Agent在实战中自我更新技能,是业界公认的解法。

Efficient Memory Management for Large Language Model Serving with PagedAttention

本文提出 PagedAttention,一种受操作系统虚拟内存和分页机制启发的注意力算法,通过将键值缓存(KV Cache)划分为非连续的内存块进行管理,解决了大型语言模型(LLM)服务中因内存碎片化和无法共享而导致的效率低下问题,从而在 vLLM 系统中实现了 2-4 倍的吞吐量提升。