ImageBind: One Embedding Space To Bind Them All
本文提出 ImageBind，一种仅通过将图像与其他多种模态（文本、音频、深度、热成像、IMU）的数据进行配对，就能学习到一个统一的多模态联合嵌入空间，并由此涌现出跨模态对齐与组合等新能力的方法。
RAG
AGI FRONTIER
AI前沿分享第66页
深度解读 AI 论文，追踪 Agent、推理、多模态与具身智能的最新进展。
PAPER INSIGHTS
更多论文解读
Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
本文是一份面向实践者和终端用户的综合性实践指南，围绕模型、数据和下游任务三个维度，深入探讨了如何有效利用大型语言模型（LLMs）解决自然语言处理（NLP）问题，并详细剖析了不同场景下选择LLMs或微调模型的利弊。
基础模型
HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal
本文提出了HarmBench，一个用于自动化红队攻防的标准化评估框架，并通过大规模实验揭示了当前攻防方法的局限性，同时提出了一种高效的对抗训练方法R2D2，显著提升了大型语言模型的安全鲁棒性。
AI安全AI评测
Graph of Thoughts: Solving Elaborate Problems with Large Language Models
本文提出了一种名为“思想图谱 (Graph of Thoughts, GoT)”的新型提示框架，通过将大型语言模型 (LLM) 的思维过程建模为任意图结构，其中“思想”是节点，依赖关系是边，从而实现了超越链式或树状思维...
基础模型
GPT-4o System Card
本文发布了GPT-4o，一个端到端训练的原生多模态（omni）模型，该模型能够统一处理和生成文本、音频、图像的任意组合，并详细介绍了其在新能力（特别是实时语音交互）下的安全评估体系、风险缓解措施及其潜在的社会影响。
基础模型
GPT-4 Technical Report
本文介绍了一个大规模、多模态模型GPT-4，它能够接收图像和文本输入并生成文本输出，在多项专业和学术基准上展现出与人类相当的性能，并通过可预测的扩展方法实现了其性能的精准预测。
基础模型
GPQA: A Graduate-Level Google-Proof Q&A Benchmark
本文提出了 GPQA，一个包含448道由生物、物理和化学领域专家编写的研究生水平多项选择题数据集，其设计目标是“防谷歌化”（Google-Proof），即对于拥有不受限制网络访问权限的熟练非专家来说也极其困难，旨在为未...
AI评测
Generative AI
Generative AI。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
基础模型
Gemma 2: Improving Open Language Models at a Practical Size
本文介绍Gemma 2系列开放语言模型（2B、9B、27B），通过在Transformer架构中交错使用局部-全局注意力、采用分组查询注意力，并对2B和9B模型应用知识蒸馏进行训练，实现了在同等参数规模下的最佳性能，甚...
基础模型
FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
本文提出了一种名为 FActScore 的新评估指标，通过将长文本分解为一系列原子事实并计算由可靠知识源支持的事实比例，来精细化地衡量语言模型生成内容的事实准确性，同时还开发了一个自动化模型来低成本、大规模地估算此分数。
AI评测
F -- A Model of Events based on the Foundational Ontology DOLCE+DnS Ultralite
本文提出了一种名为 Event-Model-F (F) 的事件形式化模型，该模型基于 foundational ontology (基础本体) DOLCE+DnS Ultralite (DUL)，通过一种模式驱动的方法...
基础模型
Explaining the Success of Nearest Neighbor Methods in Prediction
解释预测中最近邻方法的成功。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
基础模型
Efficient Streaming Language Models with Attention Sinks
本文提出了一种名为 StreamingLLM 的高效框架，通过保留少量初始 Token 作为“注意力池 (Attention Sinks)”来稳定注意力分布，从而使预训练好的大语言模型无需微调即可处理无限长的流式输入。
模型训练模型优化
Efficient Memory Management for Large Language Model Serving with PagedAttention
本文提出 PagedAttention，一种受操作系统虚拟内存和分页机制启发的注意力算法，通过将键值缓存（KV Cache）划分为非连续的内存块进行管理，解决了大型语言模型（LLM）服务中因内存碎片化和无法共享而导致的...
知识系统AI工程
Educational data mining and learning analytics: An updated survey
本文是一篇关于教育数据挖掘（EDM）和学习分析（LA）领域的更新版综述，系统性地回顾了该领域的关键术语、发展历程、知识发现流程、主要应用环境、方法论、工具集以及未来发展趋势，旨在为研究人员和实践者提供一份全面的最新知识图谱。
数据工程
Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
通过系统性地使用大 值的 指标进行评估，本文发现当前的带可验证奖励的强化学习（RLVR）方法并未赋予大语言模型超越其基础模型的新推理能力，而仅仅是提升了对基础模型已有能力的采样效率，甚至可能缩小了模型的推理范围。
强化学习推理
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
本文提出了一种名为直接偏好优化（DPO）的新算法，它通过一个解析性的映射关系，将传统强化学习中带约束的奖励最大化问题，巧妙地转化为一个简单的分类损失函数，从而无需显式训练奖励模型或进行复杂的强化学习，就能高效地使语言模...
强化学习模型训练
DELTA: Decoupling Long-Tailed Online Continual Learning
本文提出了一种名为 DELTA 的解耦学习框架，通过两阶段训练策略（监督对比学习 + 均衡损失）有效解决了长尾在线持续学习（Long-Tailed Online Continual Learning, LTOCL）中的...
基础模型
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
本文介绍了DeepSeekMath，一个通过在精心构建的120B数学语料上进行持续预训练，并采用一种名为GRPO的新型高效强化学习算法，从而将开源模型的数学推理能力推向接近GPT-4水平的7B语言模型。
强化学习推理
DeepSeek-V3 Technical Report
本文提出了一种名为 DeepSeek-V3 的671B参数的强混合专家(MoE)模型，它通过创新的无辅助损失负载均衡策略、多Token预测训练目标以及高效的MLA和DeepSeekMoE架构，以极高的训练效率和经济成本...
基础模型
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
本文提出了一种名为DeepSeek-V2的强混合专家（MoE）语言模型，该模型通过创新的多头潜在注意力（MLA）和DeepSeekMoE架构，在实现顶尖性能的同时，显著降低了训练成本并提升了推理效率。
基础模型
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
本文通过大规模强化学习（无论是纯粹应用于基础模型还是结合少量冷启动数据），成功地激发并显著增强了大型语言模型的推理能力，推出了DeepSeek-R1系列模型，并验证了可以将这种高级推理能力通过蒸馏有效地迁移到更小的模型中。
强化学习推理
Dataset Growth
本文提出了一种名为 InfoGrowth 的高效在线算法，通过实时评估数据流中每个数据点的噪声和冗余度，动态地清洗和选择信息量高的数据，以实现高质量数据集的持续、高效增长。
数据工程
Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference
本文介绍并验证了一个名为 Chatbot Arena 的开放平台，该平台通过众包用户的成对比较和偏好投票，来评估和排名大型语言模型（LLM），并为此设计了一套高效、可靠的统计方法论。
推理AI工程