RewardDance: Reward Scaling in Visual Generation
本文提出了RewardDance，一个基于生成式范式的可扩展视觉奖励模型框架，它通过将奖励预测重构为“是/否”Token预测任务，实现了对模型尺寸和上下文信息的有效扩展，从而显著提升了视觉生成模型的质量和对齐效果。
多模态&视觉 第5页
Mixture of Contexts for Long Video Generation
本文提出了一种名为上下文混合（MoC）的可学习稀疏注意力路由模块，将长视频生成问题重构为一个内部信息检索任务，从而在大幅降低计算成本的同时，实现了分钟级视频的长期记忆和一致性。
π_0: A Vision-Language-Action Flow Model for General Robot Control
A Vision-Language-Action Flow Model for General Robot Control。
A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity
本文提出了一个全面的评估框架，对ChatGPT在多任务、多语言、多模态、推理、幻觉和交互性方面进行了系统的量化评估，揭示了其在多数零样本任务上的卓越表现，同时也指出了其在低资源语言、复杂推理和事实性方面的显著局限。
A Survey on Multimodal Large Language Models
近年来，大型语言模型 (Large Language Models, LLMs) 取得了显著进展，通过扩大数据和模型规模，展现出指令遵循 (instruction following)、上下文学习 (In-Context Learning, ICL) 和思维链 (Chain of Though...
Improved Baselines with Visual Instruction Tuning
本文通过对LLaVA框架进行简单而有效的改进，即采用MLP视觉-语言连接器、引入带有响应格式化提示的学术VQA数据等，构建了LLaVA-1.5，一个在11个基准上达到SOTA、同时保持极高数据和计算效率的大型多模态模型基线。
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
本文提出了InstructBLIP，一个基于预训练模型BLIP-2的视觉语言指令微调框架，通过引入一个创新的指令感知查询转换器（Q-Former），使模型能根据文本指令提取相应的视觉特征，从而在广泛的未见过的视觉语言任务上实现了最先进的零样本（zero-shot）泛化能力。
MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts
本文提出了 MathVista，一个全面的基准测试，旨在系统性地评估基础模型在视觉情境下的数学推理能力，并揭示了即便是最先进的 GPT-4V 模型，其性能也与人类水平存在显著差距。
MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities
本文提出了一个名为 MM-Vet 的新基准，旨在通过评估大型多模态模型（LMMs）在整合多种核心视觉语言（VL）能力以解决复杂任务时的表现，来系统性地衡量其综合智能水平，并为此设计了一个基于大型语言模型（LLM）的自动化评估器。
Multimodal Deep Learning
本文是一份关于多模态深度学习的综合性技术手册，系统性地梳理了该领域从基础的单模态技术到前沿的多模态架构，核心在于根据模态间的交互方式对多模态模型进行了清晰的分类，并展望了未来的发展趋势。
OpenVLA: An Open-Source Vision-Language-Action Model
OpenVLA是一个开源7B视觉语言动作模型，使用97万条真实机器人演示进行训练。本文解读其视觉编码、语言骨干和动作预测方式，说明LoRA微调及量化部署的实验结果，并讨论跨机器人适配、计算资源和实际使用边界。
PaLM-E: An Embodied Multimodal Language Model
本文提出了一种具身多模态语言模型 PaLM-E，通过将图像等连续的真实世界传感器数据直接注入到预训练语言模型的词嵌入空间，从而在一个统一的模型中实现了机器人规划、视觉问答和语言理解等多种任务，并证明了跨领域联合训练带来的正向知识迁移效应。
Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution
本文提出了Qwen2-VL系列多模态模型，通过创新的原生动态分辨率机制和多模态旋转位置编码（M-RoPE），使模型能像人一样处理任意分辨率的图像和视频，并在广泛的多模态基准测试中展现出与GPT-4o等顶尖模型相媲美的性能。
Sigmoid Loss for Language Image Pre-Training
本文提出了一种用于语言-图像预训练的简单成对 Sigmoid 损失函数 (Sigmoid loss)，它将对比学习任务转化为对图文对的独立二元分类，从而解耦了损失计算与批次大小 (batch size) 的依赖，实现了更高的内存效率和在小批量数据下更优的性能。
Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model
本文提出了一种名为 Vision Mamba (Vim) 的通用视觉骨干网络，它通过将双向状态空间模型 (SSM) 和位置嵌入相结合，在不使用自注意力机制的情况下，实现了与 Vision Transformer 相媲美甚至更优的性能，并显著提升了处理高分辨率图像时的计算与内存效率。