GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
本文提出了一种名为 GatePro 的新型、无参数的专家选择优化方法，它将 MoE 模型中的专家选择问题构建为一个最优传输问题，无需可学习的门控参数或人工调整的负载均衡损失函数，即可实现高效且稳定的专家分配。
模型优化 第5页
Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention
本文首次系统性地揭示了在使用Flash Attention进行低精度（BF16）Transformer模型训练时，导致训练崩溃的内在机制，指出其根源在于注意力机制中出现的相似低秩表示与BF16算术固有有偏舍入误差的累积效应，两者共同形成恶性循环，最终导致损失爆炸。
RiskPO: Risk-based Policy Optimization via Verifiable Reward for LLM Post-Training
本文提出一种名为 RiskPO 的大语言模型训练后优化方法，通过引入一个基于风险度量的目标函数（MVaR），替代传统的均值优化目标，从而将模型优化的重点放在处理困难样本上，有效缓解了熵坍塌问题，并显著提升了模型的推理能力。
Fast attention mechanisms: a tale of parallelism
本文提出了一种名为“近似最近邻注意力”（ANNA）的高效注意力机制，其时间复杂度为亚二次方，并从理论上证明了它在保持与大规模并行计算（MPC）模型等价的强大表达能力的同时，能够高效解决关键推理任务，且其能力可涵盖低秩注意力机制。
Inpainting-Guided Policy Optimization for Diffusion Large Language Models
本文提出了一种名为 IGPO (Inpainting-Guided Policy Optimization) 的强化学习框架，它利用扩散大语言模型 (dLLM) 独特的“填补” (inpainting) 能力，通过在探索过程中策略性地注入部分真实推理线索，从而有效解决强化学习中的探索效率低下和...
Pre-training under infinite compute
本文提出，在数据受限而计算资源无限的未来场景下，通过深度优化正则化、模型集成和知识蒸馏等经典算法，可以显著提升语言模型预训练的数据效率，其效果远超单纯增加训练轮次或模型参数的传统方法。
A Systematic Survey on Large Language Models for Evolutionary Optimization: From Modeling to Solving
优化技术已成为解决工程设计、经济规划和科学发现等领域复杂问题的关键。实践中，优化算法分为精确方法和近似方法，但没有任何一种算法能普适于所有问题（“没有免费的午餐”定理），这使得算法的选择、配置和设计高度依赖专家知识。机器学习，特别是强化学习（RL），虽被用于降低这种复杂性，但其泛化能力有限。
Spotlight Attention: Towards Efficient LLM Generation via Non-linear Hashing-based KV Cache Retrieval
本文提出Spotlight Attention，一种通过可学习的非线性哈希函数来高效检索KV缓存（Key-Value Cache）的方法，从而在几乎不损失性能的前提下，显著提升大语言模型（LLM）的推理速度。
Efficient Streaming Language Models with Attention Sinks
本文提出了一种名为 StreamingLLM 的高效框架，通过保留少量初始 Token 作为“注意力池 (Attention Sinks)”来稳定注意力分布，从而使预训练好的大语言模型无需微调即可处理无限长的流式输入。
KTO: Model Alignment as Prospect Theoretic Optimization
本文提出了一种名为KTO (Kahneman-Tversky Optimization) 的新型大模型对齐方法，它基于前景理论，仅需“可取”或“不可取”的二元反馈信号，便能在10亿到300亿参数规模的模型上达到甚至超越基于偏好数据的DPO方法的性能。
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
本文提出了一种名为 LLaMA-Adapter 的高效微调方法，它通过引入一个仅有1.2M可学习参数、带有零初始化注意力的轻量级适配器，在冻结 LLaMA 模型主体的情况下，实现了快速（1小时内）、高效的指令微调，并能轻松扩展到多模态任务。