模型训练第6页

Balanced Actor Initialization: Stable RLHF Training of Distillation-Based Reasoning Models

2025年09月07日

本文提出了一种名为“平衡智能体初始化 (Balanced Actor Initialization, BAI)”的两阶段加权模型合并方法，旨在解决当对经过蒸馏训练的推理模型应用强化学习（RLHF）时出现的训练不稳定问题，从而稳定地结合蒸馏的效率和人类反馈对齐的优势。

2025年09月05日

本文提出了一个统一的策略梯度估计器（UPGE），将监督微调（SFT）和强化学习（RL）两种后训练范式归纳到单一的优化目标下，并基于此设计了一种名为混合后训练（HPT）的新算法，该算法能根据模型的实时表现动态地在SFT和RL之间切换，从而有效提升模型的推理能力。

2025年08月29日

本文提出了一种名为 Bi-LoRA 的高效微调框架，它通过引入一个独立的辅助 LoRA 模块来模拟锐度感知最小化（SAM）的对抗性扰动，从而在不增加额外计算成本（仅需一次反向传播）的情况下，有效提升大模型微调的泛化能力。

2025年08月29日

本文提出了一种名为 ReST-RL 的统一强化学习范式，通过将优化的自训练算法 (ReST-GRPO) 与基于价值模型 (Value Model) 的蒙特卡洛树搜索解码方法 (VM-MCTS) 相结合，显著提升了大型语言模型 (LLM) 在代码推理任务上的准确性。

2025年08月29日

BGE-M3以自知识蒸馏统一多语言、多功能和多粒度文本嵌入，兼顾不同长度文本的检索需求。本文解读其训练框架、稠密检索、稀疏检索和多向量检索的协同方式，并说明实验设置、检索效果及适用边界。

2025年08月29日

本文提出了一种名为直接偏好优化（DPO）的新算法，它通过一个解析性的映射关系，将传统强化学习中带约束的奖励最大化问题，巧妙地转化为一个简单的分类损失函数，从而无需显式训练奖励模型或进行复杂的强化学习，就能高效地使语言模型与人类偏好对齐。

2025年08月29日

本文提出了一种名为 StreamingLLM 的高效框架，通过保留少量初始 Token 作为“注意力池 (Attention Sinks)”来稳定注意力分布，从而使预训练好的大语言模型无需微调即可处理无限长的流式输入。

2025年08月29日

本文提出并验证了大型语言模型（LLM）安全训练的两种核心失败模式——“竞争性目标”与“泛化不匹配”，并基于此设计出能成功“越狱”（Jailbreak）GPT-4和Claude等顶尖模型的新型攻击方法。

2025年08月29日

本文系统地研究了通过重复采样来扩展推理计算（Inference Compute）的方法，发现其能显著提升模型在代码和数学等任务上的覆盖率（即解决问题的能力），其扩展性甚至遵循类似缩放定律的规律，并使得小模型在成本效益更高的情况下超越大模型的单次推理表现。

2025年08月29日

本文提出了一种名为 LLaMA-Adapter 的高效微调方法，它通过引入一个仅有1.2M可学习参数、带有零初始化注意力的轻量级适配器，在冻结 LLaMA 模型主体的情况下，实现了快速（1小时内）、高效的指令微调，并能轻松扩展到多模态任务。

2025年08月29日

本文提出了一种用于语言-图像预训练的简单成对 Sigmoid 损失函数 (Sigmoid loss)，它将对比学习任务转化为对图文对的独立二元分类，从而解耦了损失计算与批次大小 (batch size) 的依赖，实现了更高的内存效率和在小批量数据下更优的性能。

2025年08月29日

本文提出了一种名为 SimPO 的简单偏好优化算法，它通过使用一个无需参考模型、与生成过程对齐的长度归一化奖励，在提升模型性能的同时，显著提高了训练的计算和内存效率。

2025年08月29日

本文通过剖析 R1-Zero 类训练，揭示了其基座模型与强化学习算法（GRPO）中存在的偏见，并提出了一种无偏的优化方法 Dr. GRPO，从而以更高效的方式提升了模型的数学推理能力。