模型训练

CRAFTS:不做端到端代码生成,七角色协同让化工模拟成功率达91.5%

近日提出的 CRAFTS 框架给出了截然不同的解题思路:它彻底摒弃了用单一大模型一步到位编写仿真代码的幻想,而是深度复现了资深化工工程师的分阶段工作流。该框架将建模任务解耦给七个各司其职的角色智能体,并在它们之间设置了不可逾越的确定性工程物理关卡,将松散的自然语言与图像推理收敛为强类型的中间表...

具身操作最新综述!五层数据金字塔与大模型训练配方全景解析

这篇综述所提出的 五层数据金字塔 ,不仅是对现有数据集碎片化现状的分类总结,更为下一代具身大模型指明了研发全景:未来的系统不可能依赖单一数据源取得成功,而是必然走向以通用图文铸造通用认知、以合成仿真扩张探索广度、以手持人机视频汲取多样技巧,并最终以高保真真机触视觉数据完成严苛物理接地的混合共融之路。

MiniWorld:单机8卡从零训出流式世界模型,轨迹精度提升249%

更关键的是,MiniWorld 提出了 块级非递减加噪调度(Chunk-wise Non-Decreasing Noise Schedule) : {% raw %} {% endraw %} 在一个由 个时间块组成的序列中,越靠近未来的时间块,被赋予的噪声水平 越高;历史块的噪声水平则更低甚...

BinaryPC:无需训练的二值主成分哈希,长文本解码吞吐提升3.56倍

来自腾讯、厦门大学以及中俄数字经济研究中心的研究团队提出了名为 BinaryPC 的全新注意力方案。该方案放弃了“数据无关的随机投影”与“黑盒梯度训练”这两条旧路线,巧妙借助矩阵的二值主成分(Binary Principal Components),在无须任何梯度训练的前提下,直接从数据自身提...

消除转置偏差!2D方块量化破解FP4训练,与BF16差距小于1.3%

为了从根本上拔除这一病灶,研究团队提出了一套基于二维方块(2D Square Block)的 FP4 量化训练框架。通过保证几何结构在转置下的内在不变性,该方法使得张量在反向传播中完美保留前向的缩放因子,彻底消除了前反向之间的量化失配。

FlowBlock:免训练波前并行,扩散大模型吞吐提升4倍精度反增

华中科技大学与小红书团队在最新论文中提出了名为 FlowBlock 的免训练并行解码框架,从底层打破了这一看似不可逾越的块间串行壁垒。该研究敏锐地指出,在以 LLaDA-2.1 为代表的新一代具备“自我纠错”(Token-to-Token, T2T)能力的扩散语言模型中,块的确定性不再是不可妥...

AutoDesign:不是微调模型而是迭代脚手架,得分超Claude Design 7.4分

来自清华大学、北京大学、华中科技大学、美团、MBZUAI、上海交通大学和香港中文大学等机构的研究团队提出了 AutoDesign 框架。这项工作跳出了“微调底层多模态模型权重”的传统路径,而是引入了 元脚手架优化(Meta-Harness Optimization) 机制。

不是为了做对,而是为了得分:OpenAI o3被证实随RL训练更偏向打分器

研究者在此基础上提出了“对比消除”的设计。如果仅向模型灌输“打分器偏爱列表推导式而非 for 循环”,模型随后开始狂写列表推导式,实验者依然无法辨析模型是为了讨好打分器,还是产生了一种“既然打分器喜欢,那么用户大概也更喜欢”的常识性信念迁移(Belief Transfer)。

V-Steer:不用微调改写KV缓存,大模型指令遵循率从18%提到92%

来自伊利诺伊大学厄巴纳-香槟分校(UIUC)的研究团队提出了一种兼具轻量与强悍特性的推理时干预方案: V-Steer 。该方法完全免微调(Training-Free),不修改任何模型参数,仅在 Prefill 阶段针对性地修改特定注意力头缓存中的 Value 向量,就能让大模型在发生权限冲突时...

LongRCA Bench:长轨迹Agent故障谁背锅?免训练RCTA定位达24.1%

由阿里巴巴、清华大学、中国科学院等机构联合发布的研究给出了新的解法:研究团队构建了包含 1,140 条真实长程失败轨迹的基准数据集 LongRCA Bench ,并提出了名为 RCTA (Root-Cause Trajectory Attribution)的免训练诊断方法。