基础模型 第10页

iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

本文提出iTransformer，通过将Transformer的输入维度进行“反转”，即视每个单独的时间序列变量为一个独立的Token，从而使自注意力机制能够有效捕捉多变量间的相关性，而前馈网络则用于学习每个序列的非线性表示，最终显著提升了时间序列预测的性能和泛化能力。

Jailbreaking Black Box Large Language Models in Twenty Queries

本文提出了一种名为 PAIR 的黑盒攻击算法，其利用一个攻击者大语言模型 (LLM)，通过少量（通常少于20次）的查询，以自动化、迭代的方式生成并优化具有语义的提示（Prompt），从而高效地“越狱”目标 LLM。

KAN: Kolmogorov-Arnold Networks

本文提出了一种名为科尔莫戈罗夫-阿诺德网络（Kolmogorov-Arnold Networks, KANs）的新型神经网络架构，其将可学习的激活函数置于网络边缘（“权重”）而非节点上，从而在函数拟合等任务中，相比于传统的多层感知机（MLPs），展现出更高的精度和可解释性。

Llama 2: Open Foundation and Fine-Tuned Chat Models

本文发布了 Llama 2，一个包含从7B到70B参数的开源预训练和微调大型语言模型系列，其为对话优化的版本 Llama 2-Chat 在多个基准测试中表现优于现有开源模型，并通过详细阐述其微调和安全对齐方法，旨在推动社区对负责任的大型语言模型进行建设和发展。

Mistral 7B

本文介绍了一个名为 Mistral 7B 的70亿参数语言模型，它通过利用分组查询注意力（GQA）和滑动窗口注意力（SWA）机制，在保持高效率的同时，实现了在各项基准测试中超越更大参数模型（如 Llama 2 13B）的卓越性能。

Mixtral of Experts

本文提出了一种名为 Mixtral 8x7B 的稀疏专家混合 (Sparse Mixture of Experts, SMoE) 模型，该模型在推理时仅激活一小部分参数（13B），却在性能上超越了参数量大得多的密集模型（如 Llama 2 70B），显著提升了模型的计算效率和性能。

Model Compression using Progressive Channel Pruning

本文提出了一种名为渐进式通道剪枝 (Progressive Channel Pruning, PCP) 的迭代式剪枝框架，该框架通过在每次迭代中执行“尝试-选择-剪枝”三步流水线，从多个最优选择的层中逐步移除少量通道，从而自动确定压缩后网络的最优结构，并成功将其应用于监督学习和迁移学习场景。

Object Recognition Datasets and Challenges: A Review

本文通过对超过160个数据集的统计和描述，对物体识别领域的数据集和挑战赛进行了全面的回顾与分析，重点探讨了数据集在推动算法发展中的关键作用、主要数据集的演进趋势以及评估基准的变化。

Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey

大型模型 (Large Models, LMs) 在自然语言处理 (NLP) 和计算机视觉 (CV) 等多个领域取得了显著进展，但其巨大的规模带来了高昂的计算成本。参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT) 通过在冻结大部分预训练模型参数的同时...

QLoRA: Efficient Finetuning of Quantized LLMs

本文提出了一种名为QLoRA的高效微调方法，通过将梯度反向传播到冻结的4-bit量化模型中的低秩适配器（LoRA），首次实现了在单个48GB GPU上微调65B参数的大型语言模型，同时保持了与16-bit全量微调相当的性能。

Qwen2 Technical Report

本文介绍了Qwen2系列大型语言模型，通过改进模型架构、扩大并优化多语言和代码数学预训练数据、采用可扩展的对齐技术，在0.5B到72B的多个尺寸上全面超越了现有开源模型，并在各项基准测试中展现出与顶尖闭源模型相当的竞争力。

Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement

本文提出了一系列数学专用大语言模型 Qwen2.5-Math，其核心创新在于将“自我改进”（self-improvement）的理念贯穿于从预训练、后训练到推理的整个模型开发流程，从而在多个数学基准上实现了超越现有开源及闭源模型（如GPT-4o）的顶尖性能。

s1: Simple test-time scaling

本文提出了一种极其简单且高效的方法，通过在精心筛选的1000个样本（s1K）上进行监督微调，并结合一种名为“预算强制”（budget forcing）的测试时干预技术，成功构建了一个具备强大推理能力和可控测试时扩展（test-time scaling）行为的语言模型（s1-32B）。

SAM 2: Segment Anything in Images and Videos

本文提出了SAM 2，一个统一处理图像和视频中可提示分割任务的基础模型，它通过引入流式记忆架构和构建大规模视频分割数据集SA-V，在显著提升分割精度和交互效率的同时，性能超越了现有方法。

SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot

本文提出了一种名为 SparseGPT 的新颖剪枝方法，能够对超大规模语言模型（如 OPT-175B）进行一次性（One-Shot）剪枝，在不进行任何重新训练的情况下，达到50%-60%的稀疏度，同时保持极低的准确率损失。

StarCoder: may the source be with you!

本文发布了StarCoder，一个拥有155亿参数、支持8K上下文长度和代码填充能力的开源代码大语言模型；该模型在经过精心筛选和隐私信息处理的 permissively licensed 代码数据集上进行训练，其性能超越了所有现存的多语言开源代码模型，并达到了与闭源模型相当的水平。

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

本文提出了一个名为 SWE-bench 的大规模、真实世界的软件工程基准，通过要求语言模型（Language Models, LMs）解决来自12个流行Python仓库的真实GitHub问题，发现即使是最先进的模型也难以完成这些复杂的代码编辑任务，揭示了当前模型能力的巨大局限性。

The Llama 3 Herd of Models

本文介绍了 Llama 3 模型家族，其中旗舰模型是一个拥有 405B 参数的密集型 Transformer，通过在 15T 多语言 token 上进行大规模预训练，并采用稳定可扩展的架构和训练方法，使其在多项基准测试中达到了与 GPT-4 等顶级模型相当的性能水平。

ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

本文提出了一个名为ToolLLM的通用工具使用框架，通过构建一个包含超过16000个真实世界API的大规模指令微调数据集ToolBench，并采用一种新颖的深度优先搜索决策树（DFSDT）方法，成功地将开源大语言模型（LLaMA）的工具使用能力提升至与ChatGPT相当的水平。

Towards Unbiased Calibration using Meta-Regularization

本文提出了一种名为元正则化 (Meta-Regularization) 的新方法，通过一个元学习框架来学习无偏的、校准良好的深度学习模型。该方法包含两个核心组件：一个能为Focal Loss学习样本级连续 值的 -Net ，以及一个作为无偏、可微校准目标的平滑期望校准误差 (SECE)。

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

本文提出了一种名为“思想树”（Tree of Thoughts, ToT）的新型语言模型推理框架，它通过将问题解决过程建模为对“思想”（连貫的文本单元）树的探索，使大型语言模型能够进行深思熟虑的决策、前瞻和回溯，从而显著提升其在需要规划和搜索的复杂任务上的解决能力。

Unifying Large Language Models and Knowledge Graphs: A Roadmap

大语言模型（Large Language Models, LLMs），例如ChatGPT和GPT-4，因其涌现能力和泛化性，在自然语言处理和人工智能领域引发了新的浪潮。然而，LLMs是黑箱模型，常常难以捕获和访问事实性知识。相比之下，知识图谱（Knowledge Graphs, KGs）是结构...