近日,腾讯优图实验室在行人重识别(ReID)技术上再次取得突破,通过引入跨场景 ReID,其 ReID 模型性能刷新了三大权威主流 ReID 公开数据集 CUHK03,DUKE-MTMC 和 Market1501 的记录,算法关键指标首位命中率(RANK1 Accuracy)和平均精度均值(Mean Average Precision)获得业内最好成绩。

腾讯优图再次刷新三大ReID公开数据集纪录,首位命中率最高近99%-风君雪科技博客

  行人重识别(Person ReID)是指对不同摄像机捕捉到的行人图像建立身份对应关系(即关联行人 ID),对行人实现在整个场景下的行动路线的全面刻画。简单来说,在看不到人脸的复杂多场景下也能通过体态等对人进行识别。相较于人脸识别技术,ReID 对人体图像的遮挡、朝向和清晰度具有较高的鲁棒性,对摄像头的清晰度、架设位置、角度没有硬性要求。正因此 ReID 技术成为继人脸识别技术后计算机视觉领域又一热门课题。

  鉴于 ReID 技术的技术优势和在各个领域的广泛应用前景,近年来,腾讯优图在这一方向上做出了大量技术投入和全面的技术布局,在 CVPR/TPAMI/AAAI/IJCAI 等国际顶级学术会议和期刊上发表了超过 15 篇相关领域学术论文。

  虽然 ReID 技术已经过多年的演进,但现实中复杂多变的场景,也让跨场景识别(cross-domain person re-identification)成为 ReID 技术的一大难题,此次腾讯优图刷新三大数据集所引入的跨场景 ReID,便是在此难点上进行了技术突破。

  跨场景识别的难点在于,不同场景由于环境光照、摄像头角度、背景等因素,例如室内大型商场、小型门店的侧面和高俯角相机、室外道路、社区的强光和夜晚环境等,都会对人体图像的视觉特征造成影响。如何让 ReID 技术适应复杂多变的场景,实现跨场景行人图像的检索,是一项重大的技术挑战,也是实现室内外行人动线联动、全城联动的关键性技术。突破此技术难点对拓展 ReID 的落地场景和业态,实现大规模行人识别有巨大的作用。

  公开数据集 MSMT17 中的室内外行人图像视觉差异

  为解决 ReID 技术难点,腾讯优图通过在遮挡匹配、全角度匹配、跨域检索等业务问题上的针对性优化,以及在模型结构、损失函数、训练算法等各项技术上的大量积累和创新,提出了一种跨场景行人重识别技术框架,采用基于图卷积和孪生网络的模型,使得神经网络对多朝向、多姿态等跨场景的人体具有更强的识别能力。这一技术能够为不同场景、不同拍摄角度和光照条件的行人视觉特征学习统一的特征表达,有效提升了 ReID 技术在行人图像室内外、跨场景的相互检索的精度。

  通过引入跨场景 ReID,腾讯优图在三个数据集中刷新业内最好的水平,其中 Market-1501 数据集的 RANK1 达到 98.99%。RANK1 和 MAP 作为衡量 ReID 技术水平的核心指标,首位命中率高,就意味着算法能够在众多图像中准确找出最容易识别或匹配的那张。

  在此基础上,腾讯优图的 ReID 算法在多场景行人图像相互检索也处于业界领先水平,在跨场景 ReID 数据集 MSMT-17 上超越已有算法达到 state-of-the-art 水平。

腾讯优图再次刷新三大ReID公开数据集纪录,首位命中率最高近99%-风君雪科技博客

  腾讯优图的 ReID 技术不仅在相关数据集上已经取得了领先的性能,依托 ReID 技术的应用系统也已在多种场景达到商用水平并实现广泛落地。未来,随着跨场景行人重识别能力的逐步成熟,腾讯优图的 ReID 技术也将在更多的场景和业态实现价值。