MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts
本文提出了 MathVista，一个全面的基准测试，旨在系统性地评估基础模型在视觉情境下的数学推理能力，并揭示了即便是最先进的 GPT-4V 模型，其性能也与人类水平存在显著差距。
多模态&视觉推理
AGI FRONTIER
AI前沿分享第65页
深度解读 AI 论文，追踪 Agent、推理、多模态与具身智能的最新进展。
PAPER INSIGHTS
更多论文解读
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
本文提出了一种名为Mamba的新型序列建模架构，它通过引入选择性状态空间模型（Selective SSM），在保持线性时间复杂度的同时，实现了与Transformer相媲美的性能，尤其在处理长序列任务上表现出色。
AI理论
Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations
本文提出 Llama Guard，一个基于 Llama2-7b 的开源模型，通过将其构建为一种遵循指令的分类器，为人类与AI的对话提供可定制的、高效的输入-输出内容安全防护。
基础模型
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
本文提出了一种名为 LLaMA-Adapter 的高效微调方法，它通过引入一个仅有1.2M可学习参数、带有零初始化注意力的轻量级适配器，在冻结 LLaMA 模型主体的情况下，实现了快速（1小时内）、高效的指令微调，并能...
模型训练模型优化
Llama 2: Open Foundation and Fine-Tuned Chat Models
本文发布了 Llama 2，一个包含从7B到70B参数的开源预训练和微调大型语言模型系列，其为对话优化的版本 Llama 2-Chat 在多个基准测试中表现优于现有开源模型，并通过详细阐述其微调和安全对齐方法，旨在推动...
基础模型
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
本文提出了 LiveCodeBench，一个通过持续从编程竞赛平台收集新问题来避免数据污染，并从代码生成、自我修复、代码执行、测试输出预测等多个维度来全面评估大型语言模型（LLM）代码能力的动态基准。
AI评测
LIMO: Less is More for Reasoning
本文提出并验证了LIMO假说：对于在预训练中已编码了丰富领域知识的基础模型，仅需极少量（本文为817个）精心策划的认知过程范例（高质量的推理链），便能有效激发其复杂的数学推理能力，从而以不到1%的训练数据量，在多个高难...
推理
Limits of trust in medical AI
本文论证了医疗人工智能（AI）系统仅能被依赖（be relied upon），而不能被信任（be trusted），因为真正的信任需要善意、动机和道德责任等人类特有的能动性（agency）要素，而AI的广泛应用可能通过...
行业应用
Let's Verify Step by Step
本文通过在极具挑战性的MATH数学数据集上进行实验，证明了过程监督 (Process Supervision) 在训练奖励模型方面显著优于结果监督 (Outcome Supervision)，其训练出的模型能更可靠地解...
AI理论
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
本文提出了一套名为 ALOHA 的低成本开源双臂遥操作硬件系统，并结合一种名为 ACT 的新型模仿学习算法，通过预测动作序列（Action Chunking）而非单步动作，成功地让低成本机器人学会了多种以往需要昂贵设备...
具身智能
Large Language Monkeys: Scaling Inference Compute with Repeated Sampling
本文系统地研究了通过重复采样来扩展推理计算（Inference Compute）的方法，发现其能显著提升模型在代码和数学等任务上的覆盖率（即解决问题的能力），其扩展性甚至遵循类似缩放定律的规律，并使得小模型在成本效益更...
模型训练
KTO: Model Alignment as Prospect Theoretic Optimization
本文提出了一种名为KTO (Kahneman-Tversky Optimization) 的新型大模型对齐方法，它基于前景理论，仅需“可取”或“不可取”的二元反馈信号，便能在10亿到300亿参数规模的模型上达到甚至超越...
AI安全模型优化
Kimi k1.5: Scaling Reinforcement Learning with LLMs
本文提出了一种通过强化学习（RL）扩展大型语言模型（LLM）能力的方法，其核心是利用长上下文（long context）和改进的策略优化算法，构建了一个无需蒙特卡洛树搜索等复杂技术的简化框架，从而在多项推理基准上取得了...
强化学习推理
KAN: Kolmogorov-Arnold Networks
本文提出了一种名为科尔莫戈罗夫-阿诺德网络（Kolmogorov-Arnold Networks, KANs）的新型神经网络架构，其将可学习的激活函数置于网络边缘（“权重”）而非节点上，从而在函数拟合等任务中，相比于传...
基础模型
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
本文提出使用强大的大语言模型（如GPT-4）作为裁判（LLM-as-a-Judge）来评估聊天机器人，并通过新提出的基准 MT-Bench 和 Chatbot Arena 的实验证明，该方法的评判结果与人类偏好具有超过...
AI评测
Jailbroken: How Does LLM Safety Training Fail?
本文提出并验证了大型语言模型（LLM）安全训练的两种核心失败模式——“竞争性目标”与“泛化不匹配”，并基于此设计出能成功“越狱”（Jailbreak）GPT-4和Claude等顶尖模型的新型攻击方法。
AI安全模型训练
Jailbreaking Black Box Large Language Models in Twenty Queries
本文提出了一种名为 PAIR 的黑盒攻击算法，其利用一个攻击者大语言模型 (LLM)，通过少量（通常少于20次）的查询，以自动化、迭代的方式生成并优化具有语义的提示（Prompt），从而高效地“越狱”目标 LLM。
基础模型
iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
本文提出iTransformer，通过将Transformer的输入维度进行“反转”，即视每个单独的时间序列变量为一个独立的Token，从而使自注意力机制能够有效捕捉多变量间的相关性，而前馈网络则用于学习每个序列的非线...
基础模型
Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation
本文提出了一个名为 EvalPlus 的代码合成评估框架，通过大规模自动生成测试用例（结合 LLM 和变异测试策略）来严格评估大语言模型（LLM）生成代码的真实功能正确性，揭示了现有基准（如 HumanEval）因测试...
AI评测
Is ChatGPT a General-Purpose Natural Language Processing Task Solver?
本文通过在覆盖7大类任务的20个NLP数据集上进行全面的零样本（zero-shot）评估，系统性地剖析了ChatGPT作为通用自然语言处理任务解决器的能力，发现其在推理密集型任务上表现出色，但在序列标注等特定任务上仍面...
基础模型
Introduction to Machine Learning
本文是一部综合性的教科书或讲义，旨在介绍机器学习领域的数学基础和核心技术。其内容组织体现了对该领域的系统性分类。
基础模型
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
本文提出了InstructBLIP，一个基于预训练模型BLIP-2的视觉语言指令微调框架，通过引入一个创新的指令感知查询转换器（Q-Former），使模型能根据文本指令提取相应的视觉特征，从而在广泛的未见过的视觉语言任...
多模态&视觉
Improving Online Algorithms via ML Predictions
本文提出了一种利用机器学习（ML）预测来改进在线算法性能的理论框架，设计的算法在预测准确时性能接近最优（一致性），在预测错误时性能也不会大幅下降，可优雅地退化到经典在线算法的水平（鲁棒性）。
AI理论
Improved Baselines with Visual Instruction Tuning
本文通过对LLaVA框架进行简单而有效的改进，即采用MLP视觉-语言连接器、引入带有响应格式化提示的学术VQA数据等，构建了LLaVA-1.5，一个在11个基准上达到SOTA、同时保持极高数据和计算效率的大型多模态模型基线。
多模态&视觉