模型训练 第5页

GaLLoP: Gradient-based Sparse Learning on Low-Magnitude Parameters

本文提出了一种名为 GaLLoP 的稀疏微调新方法，它通过优先选择在下游任务上梯度最大、且在预训练模型中权重绝对值最小的参数进行微调，从而在提升任务性能的同时有效保留预训练知识，实现了卓越的分布内（ID）和分布外（OOD）泛化能力。

Continual Learning via Sparse Memory Finetuning

本文提出了一种名为稀疏内存微调（sparse memory finetuning）的方法，通过仅更新与新知识高度相关的、利用TF-IDF筛选出的极少数内存槽位，使大型语言模型在学习新知识的同时，显著减少了灾难性遗忘。

Imbalanced Gradients in RL Post-Training of Multi-Task LLMs

本文通过实验证明，在大型语言模型 (LLM) 的多任务强化学习 (RL) 后训练中，不同任务会产生幅度差异悬殊的梯度，并且大梯度并不意味着大的学习增益，这种梯度不平衡现象会导致优化过程偏向特定任务，从而损害整体性能。

A Multi-Agent Framework for Stateful Inference-Time Search

本文提出了一个无需训练的有状态多智能体进化搜索框架，通过结合持久化推理时状态、对抗性变异和进化式搜索，提升单元测试中边缘案例的生成能力和代码覆盖率。

Mid-Training of Large Language Models: A Survey

本文首次将大语言模型（LLMs）的中期训练（mid-training）概念化为一个统一的范式，并提出了一个涵盖数据分布、学习率调度和长上下文扩展的分类体系，旨在系统性地梳理这一介于大规模预训练和任务微调之间的关键阶段。

CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling

本文提出 CALM 框架，通过专家智能体注入轻量级提示来修正大型推理模型 (LRM) 的原生推理缺陷，从而生成高质量数据，并通过监督微调和强化学习两阶段训练，打造出在优化建模任务上达到业界顶尖水平且参数高效的模型 STORM。

Staircase Streaming for Low-Latency Multi-Agent Inference

Staircase Streaming通过流式协作降低多智能体推理的串行等待，让下游智能体在上游输出完整结果前开始处理。本文解读分块传递、流水线并行和前缀缓存优化，比较首Token延迟与回答质量的权衡，并说明实验设置及适用边界。

Understanding the Role of Training Data in Test-Time Scaling

本文通过一个可理论分析的线性回归任务，从理论上解释了训练数据的特性如何决定测试时增加计算（即更长的思想链）能否成功提升模型性能，并证明了在多样化、相关且困难的任务上进行训练对测试时扩展（test-time scaling）最为有利。

Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention

本文首次系统性地揭示了在使用Flash Attention进行低精度（BF16）Transformer模型训练时，导致训练崩溃的内在机制，指出其根源在于注意力机制中出现的相似低秩表示与BF16算术固有有偏舍入误差的累积效应，两者共同形成恶性循环，最终导致损失爆炸。

Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning

本文提出了一种非对称近端策略优化（Asymmetric Proximal Policy Optimization, AsyPPO），该框架通过使用一组在非重叠数据上训练的轻量级“迷你评论家”（mini-critics），在保持计算高效的同时恢复了评论家（critic）在大型语言模型（LLM）推...

RiskPO: Risk-based Policy Optimization via Verifiable Reward for LLM Post-Training

本文提出一种名为 RiskPO 的大语言模型训练后优化方法，通过引入一个基于风险度量的目标函数（MVaR），替代传统的均值优化目标，从而将模型优化的重点放在处理困难样本上，有效缓解了熵坍塌问题，并显著提升了模型的推理能力。

RollPacker: Mitigating Long-Tail Rollouts for Fast, Synchronous RL Post-Training

本文提出了一种名为 RollPacker 的同步强化学习（RL）训练系统，其核心是一种创新的 rollout 调度策略——尾部批处理（tail batching），该策略通过将导致长响应的 prompt 整合到少数专用的 rollout 步骤中，显著减少了因响应长度不均衡导致的 GPU 空闲时...

Thinking Augmented Pre-training

本文提出了一种名为“思维增强预训练”（Thinking Augmented Pre-training, TPT）的简单且可扩展的方法，通过使用现有LLM为预训练数据自动生成“思维轨迹”（thinking trajectories），从而显著提升了语言模型训练的数据效率和推理能力。

Pre-training under infinite compute

本文提出，在数据受限而计算资源无限的未来场景下，通过深度优化正则化、模型集成和知识蒸馏等经典算法，可以显著提升语言模型预训练的数据效率，其效果远超单纯增加训练轮次或模型参数的传统方法。

Language Self-Play For Data-Free Training

本文提出了一种名为语言自博弈（Language Self-Play, LSP）的无数据训练方法，通过构建一个强化学习框架，让大型语言模型在“挑战者”（生成难题）和“解答者”（解答问题）两种角色间自我对抗，从而在无需外部训练数据的情况下实现持续自我提升。