Object Recognition Datasets and Challenges: A Review

论文原文 ↗ 论文发布 2025-07-30 解读发布 2025-08-29 解读：AI前沿分享

ArXiv URL: https://arxiv.org/abs/2507.22361v1
作者:
发布机构: University of British Columbia

TL;DR

本文通过对超过160个数据集的统计和描述，对物体识别领域的数据集和挑战赛进行了全面的回顾与分析，重点探讨了数据集在推动算法发展中的关键作用、主要数据集的演进趋势以及评估基准的变化。

关键定义

本文主要沿用并梳理了计算机视觉领域已有的核心概念，并未提出新的定义。关键概念如下：

物体识别 (Object Recognition)：一个通用术语，涵盖了图像分类、物体定位、物体检测、实例分割和语义分割等一系列相关的计算机视觉任务。
图像分类 (Image Classification)：为整张图像分配一个类别标签。
物体检测 (Object Detection)：在图像中定位感兴趣的物体并为其分配类别标签，通常通过边界框（Bounding Box）实现。
语义分割 (Semantic Segmentation)：为图像中的每个像素分配一个类别标签（类别感知），不区分同一类的不同实例。
实例分割 (Instance Segmentation)：在像素级别识别物体边界，并区分同一类别的不同实例（实例感知）。
全景分割 (Panoptic Segmentation)：结合语义分割和实例分割，对图像中的所有像素进行分割，既要识别“事物”（Things，可数物体）的实例，也要分割“材料”（Stuff，背景区域）。

背景

物体识别任务概述

物体识别是涵盖多个具体任务的总称。这些任务在粒度和目标上有所不同，构成了一个层次化的理解体系。

图像分类：判断图像整体属于哪个类别。
物体定位 (Object Localization)：在图像中用边界框标出单个或多个物体的位置。
物体检测：结合了定位和分类，找出所有感兴趣的物体并给出其类别。
图像分割：在像素层面进行划分。
- 语义分割：为每个像素标记其所属的类别（如所有标记为“车”的像素）。
- 实例分割：不仅标记类别，还区分同类别的不同个体（如“车1”、“车2”）。

物体识别历史里程碑

物体识别算法和数据集的发展历程与技术进步紧密相连，大致可分为深度学习兴起前后的两个阶段。

深度学习前时代（2012年以前）：早期的算法主要依赖于为特定应用设计的精巧的手工特征，如 SIFT (Scale-Invariant Feature Transform) 、HOG (Histogram of Oriented Gradients) 等。数据集也多为特定应用而生，如人脸识别的FERET、手写数字识别的MNIST。这些数据集通常分辨率较低，场景简单，物体姿态受控。PASCAL VOC系列挑战赛的推出，为当时的算法提供了一个标准的基准测试平台，推动了领域发展。

深度学习时代（2012年至今）： 2012年，AlexNet在ImageNet大规模视觉识别挑战赛 (ILSVRC) 上取得突破性成功，标志着深度学习时代的到来。这证明了大规模、高质量标注的数据集对于释放深度神经网络（DCNNs）潜力的重要性。此后，算法和数据集的复杂性都大幅提升。

算法演进：出现了一系列经典的深度学习模型，如R-CNN系列 (R-CNN, Fast R-CNN, Faster R-CNN)、SSD、YOLO系列、用于实例分割的Mask R-CNN，以及用于语义分割的DeepLab系列和U-Net等。
数据集演进：数据集向着更大规模、更精细标注（从边界框到像素级掩码）、更自然场景（而非标志性视图）的方向发展。

下图展示了物体识别算法和数据集发展的关键里程碑。

评估指标

为了量化评估算法性能，本文介绍了几种核心指标。这些指标基于以下四个基本概念：

真阳性 (True Positive, TP)：正确预测为正例。
假阳性 (False Positive, FP)：错误预测为正例。
真阴性 (True Negative, TN)：正确预测为负例。
假阴性 (False Negative, FN)：错误预测为负例。

主要评估指标

精确率 (Precision)：预测为正的样本中有多少是真正的正例。
\[Precision=\frac{TP}{TP+FP}\]
召回率 (Recall)：所有真实正例中有多少被成功预测。
\[Recall=\frac{TP}{TP+FN}\]
准确率 (Accuracy)：所有样本中被正确预测的比例。
\[Accuracy=\frac{TP+TN}{TP+TN+FP+FN}\]
$F_1$ 分数 ($F_1$ Score)：精确率和召回率的调和平均数，用于综合考量两者。
\[F_1=2\frac{precision\times recall}{precision+recall}\]
交并比 (Intersection over Union, IoU)：预测区域与真实区域的交集面积除以并集面积，是衡量检测和分割任务中预测区域准确度的常用指标。
\[IoU=\frac{Area of Overlap}{Area of Union}=\frac{TP}{TP+FN+FP}\]
平均精度 (Average Precision, AP)：在不同召回率水平下精确率的平均值，常用于评估单个类别的检测或分割性能。通过对所有类别的AP取平均，得到平均精度均值 (mean Average Precision, mAP)。
全景质量 (Panoptic Quality, PQ)：用于评估全景分割任务，同时衡量分割质量和检测质量。
\[PQ=\frac{\sum_{(p,q)\in TP}IoU(p,g)}{ \mid TP \mid +\frac{1}{2} \mid FP \mid +\frac{1}{2} \mid FN \mid }\]
其中，第一项是匹配分割的平均IoU（分割质量），第二项是类$F_1$分数（检测质量）。

Figure 3: ROC Curve

ROC曲线 (Receiver Operative Characteristic Curve)：通过绘制真阳性率（召回率）与假阳性率（1-特异度）的关系曲线来评估分类器性能。曲线下面积（AUC）越大，性能越好。

通用物体识别数据集

近年来，公开的标注数据集数量激增。本节对通用物体识别数据集及其相关挑战赛进行综述。

主要大规模数据集

有四个公认的主要大规模物体识别数据集，它们极大地推动了领域的发展。

数据集	类别数	图像数	每张图平均物体数	首次发布
PASCAL VOC	20	22,591	2.3	2005
ImageNet	21,841	14,197,122	3	2009
Microsoft COCO	91	328,000	7.7	2014
Open Images	600	9,178,275	8.1	2017

Table 1: PASCAL VOC, ImageNet, MS COCO, 和 Open Images 的数据集统计

Figure 4: 主要挑战赛物体检测赛道获胜算法的准确率提升。PASCAL VOC 2007年准确率下降是由于类别从4个增加到20个。

数据集概述

PASCAL VOC：最早的大型挑战赛数据集，于2005年发布。它奠定了物体识别评估指标的基础。虽然规模相对较小，但仍被用作新算法的便捷基准。
ImageNet：于2010年推出，拥有千万级的图像和上万个细粒度类别。其层次化结构基于WordNet。ILSVRC挑战赛（2010-2017）极大地推动了深度学习的发展。ImageNet至今仍是预训练复杂模型的标准数据集，但其每图仅单物体标注和缺乏丰富上下文的缺点也催生了更复杂的数据集。
Microsoft COCO：为解决ImageNet的问题而生，图像数量较少但标注更丰富。它强调物体在自然上下文中的表现，并提供像素级的实例分割掩码。COCO还注重类别间的实例数量平衡，并发布了补充的COCO-Stuff数据集用于背景区域分割。
Open Images：最新一代的大规模数据集，包含超过九百万张图像、600个物体类别的边界框以及部分分割掩码。其特点是引入了视觉关系标注（如“人骑自行车”）和负标签（明确指出图像中不存在的物体），以增强模型的分类能力。

挑战赛任务

四大挑战赛涵盖了从简单到复杂的各种任务，其评估标准也随之演进。

挑战赛	任务	类别数	图像	已标注物体	活跃年份	任务描述	评估指标
PASCAL VOC	图像分类	20	11,540	27,450	2005 - 2012	预测每张图中是否至少存在一个各类别的实例	AP
	检测	20	11,540	27,450	2005 - 2012	为图像中所有挑战类别的实例预测边界框	AP (IoU > 0.5)
	分割	20	2,913	6,929	2007 - 2012	对物体类别进行语义分割	IoU
ILSVRC	图像分类	1000	1,331,167	1,331,167	2010 - 2014	对每张图的一个已标注类别进行分类	Top-5预测的二元类别错误率
	物体检测	200	476,688	534,309	2013 - 2017	为每张图的所有实例预测边界框	AP（IoU阈值与框大小成比例）
MS COCO	检测	80	123,000+	500,000+	2015 - 至今	对物体类别（things）进行实例分割	AP at IoU in [0.5:0.05:0.95]
	关键点	17	123,000+	250,000+	2017 - 至今	同时进行物体检测和关键点定位	基于OKS的AP
	Stuff	91	123,000+	-	2017 - 至今	对背景类别进行像素级分割	mIoU
	全景	171	123,000+	500,000+	2018 - 至今	对图像进行完整分割（stuff 和 things）	Panoptic Quality (PQ)
Open Images	物体检测	500	1,743,042	12,421,955	2018 - 至今	基于层次结构的边界框检测	mAP
	实例分割	300	848,000	2,148,896	2018 - 至今	对物体类别进行实例分割；包含负标签以优化训练	mAP (IoU > 0.5)
	视觉关系检测	57	1,743,042	380,000关系三元组	2018 - 至今	用关系三元组标记图像	mAP和召回率的加权和

Table 2: PASCAL VOC, ILSVRC, MS COCO, 和 Open Images 的挑战赛描述

分类：主要在PASCAL VOC和ILSVRC中出现，后者采用Top-5错误率作为标准。
检测：四大挑战赛均包含此任务，但评估标准从固定的IoU阈值（PASCAL VOC, Open Images）演变为更复杂的动态阈值（ILSVRC）和多阈值平均（MS COCO）。
分割：从PASCAL VOC的语义分割，发展到MS COCO更全面的实例分割、Stuff分割和全景分割，评估指标也从简单的IoU发展到更综合的PQ。
特定任务：各挑战赛还推出了特定应用的任务，如PASCAL VOC的人体部件布局、MS COCO的人体关键点检测和Open Images的视觉关系检测，推动了更细分领域的发展。

其他物体识别数据集

除了上述四大主流数据集，还存在许多其他有价值的数据集。

物体检测数据集

尽管趋势是向分割掩码发展，但边界框标注因其成本低、一致性高而仍在许多数据集中使用。

数据集	图像数	类别数	边界框数	年份
Caltech 101 [75]	9,144	102	9,144	2003
MIT CSAIL [234]	2,500	21	2,500	2004
Caltech 256 [92]	30,307	257	30,307	2006
Visual Genome [126]	108,000	76,340	4,102,818	2016
YouTube BB [197]	5.6 m	23	5.6 m	2017
Objects 365 [211]	638,000	365	10.1 m	2019

Table 3: 通用物体检测数据集（不含3.1节中已介绍的）

物体分割数据集

这些数据集提供实例级或语义级的分割掩码。近年来，视频物体分割 (Video Object Segmentation, VOS) 成为一个热门方向，DAVIS和YouTube-VOS是该领域的主要基准。

数据集	图像数	类别数	物体数	年份	挑战赛	描述
SUN [256]	130,519	3819	313,884	2010	否	主要用于场景识别，但也提供了实例级分割掩码
SBD [95]	10,000	20	20,000	2011	否	PASCAL VOC训练/验证图像上的物体轮廓
Pascal Part [46]	11,540	191	27,450	2014	否	PASCAL VOC数据集中20个类别的物体部件分割
DAVIS [30]	150 (视频)	4	449	2016	是	一个专注于半监督和无监督分割任务的视频物体分割数据集和挑战赛
YouTube-VOS [260]	4,453	94	7,755	2018	是	从短视频片段（3-6秒）收集的视频物体分割数据集
LVIS [94]	164,000	1000	2 m	2019	是	针对长尾分布类别的实例分割标注，这些类别样本很少
LabelMe[207]	62,197	182	250,250	2005	否	实例级分割；部分背景类别也被标注

Table 4: 物体分割数据集

场景理解数据集中的物体识别

对图像的全面理解不仅需要识别物体，还需要理解场景。单纯的物体识别可能提供一些上下文线索，但也可能产生误导。背景属性（Stuff），如草地、天空，在传统物体识别数据集中常被忽略，但它们对提供几何关系和上下文推理至关重要。因此，许多以场景为中心的数据集被提出来，以实现更深层次的视觉理解。