SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations
SonicMoE:64张H100顶96张用,MoE训练显存暴降45%。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
AGI FRONTIER
深度解读 AI 论文,追踪 Agent、推理、多模态与具身智能的最新进展。
PAPER INSIGHTS
SonicMoE:64张H100顶96张用,MoE训练显存暴降45%。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
颠覆常识!阿里SkillRouter:Agent选对工具,代码比描述重要44%。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
SimpleMem:让Agent记忆成本暴降30倍!F1提升26.4%的“语义无损压缩”新架构。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
告别Softmax“分票”困境:Sigmoid Head无需人工标注,精准量化大模型置信度。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
DPO假设失效?康奈尔联合Netflix提出SPO:大模型对齐的“单指标”革命。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
字节Seedance 1.5 pro发布:原生音视频联合生成,推理加速超10倍。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
9小时攻克11道Putnam难题!Seed-Prover 1.5重塑AI形式化证明。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
CMU新作:让AI自主设计“自我修正”策略,带存档机制逼近人类专家水平。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
数据效率暴涨100倍!Meta AI揭秘强化学习在内容审核中的Scaling Law。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
模拟大脑“胶质细胞”!RMAAT解锁线性注意力,长序列训练显存效率暴涨。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
GPT-5也排0%分位?ReX-MLE揭秘:顶尖AI智能体为何搞不定医学影像。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
单卡全量微调MoE大模型?RevFFN让显存占用减半,性能超越LoRA。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
RAG系统的“黑盒”困境:谷歌提出多跳QA的四轴设计框架。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
SFTKey:别让CoT喧宾夺主!两阶段微调让大模型准确率提升超5%。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
打破上下文诅咒:递归语言模型(RLM)让GPT-5处理无限长文本。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
AI数学推理不再“偏科”:Principia让大模型精通复杂公式,性能提升18%!。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
像人一样“精读+略读”:RAM长文本压缩框架实现12倍加速。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
QwenLong-L1.5:挑战GPT-5,揭秘400万字长文本推理的“后训练”秘籍。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
谷歌新发现:简单重复Prompt,大模型准确率暴涨且零额外延迟。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
打破LLM能效瓶颈:32KB缓存+1.4GHz高频竟是最佳硬件甜点?。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
移位代替乘法!LLM推理提速10倍、内存节省87.5%的PoT-QAT技术。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
Meta新作Canon Layers:仅增0.5%参数,推理深度暴涨4倍的“魔法”。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
8B模型超越GPT-5!PaCoRe:解锁200万Token推理算力的新范式。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
LoRA收敛性之谜破解:首个 非渐进收敛速率证明。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。