2020/03/09 12:08

红色石头作者AI有道来源林亦霖校对于腾凯编辑

52 个深度学习目标检测模型汇总，论文、源码一应俱全！（附链接）

本文给你总结52个深度学习检测模型。

目标检测作为计算机视觉中的一个重要分支，近些年来随着神经网络理论研究的深入和硬件 GPU 算力的大幅度提升，一举成为全球人工智能研究的热点，落地项目也最先开始。

纵观 2013 年到 2020 年，从最早的 R-CNN、OverFeat 到后来的 SSD、YOLO v3 再到去年的 M2Det，新模型层出不穷，性能也越来越好！本文将完整地总结 52 个目标检测模型极其性能对比，包括完备的文献 paper 列表。

首先直奔主题，列出这 52 个目标检测模型（建议收藏）：

这份目标检测超全的技术路线总结来自于 GitHub 上一个知名项目，作者是毕业于韩国首尔国立大学电气与计算机工程专业的 Lee hoseong，目前已经收获 7.3k star。

该项目地址是：

https://github.com/hoya012/deep_learning_object_detection

该技术路线纵贯的时间线是 2013 年到 2020 年初，上图总结了这期间目标检测所有具有代表性的模型。图中标红的部分是相对来说比较重要，需要重点掌握的模型。

更新日志

值得一提的是红色石头早在去年年初的时候已经发文给大家推荐过这个项目，作者也一直在更新，截至 2020 年 2 月，作者主要的更新如下：

2019.2：更新3篇论文
2019.3：更新图表和代码链接
2019.4：更新 ICLR 2019 和 CVPR 2019 论文
2019.5：更新 CVPR 2019 论文
2019.6：更新 CVPR 2019 论文和数据集论文
2019.7：更新 BMVC 2019 论文和部分 ICCV 2019 论文
2019.9：更新 NeurIPS 2019 论文和 ICCV 2019 论文
2019.11：更新部分 AAAI 2020 论文和其它论文
2020.1：更新 ICLR 2020 论文和其它论文

下面详细介绍！

模型性能对比表

由于硬件不同（例如 CPU、GPU、RAM 等），来比较 FPS 往往不够准确。更合适的比较方法是在同一硬件配置下测量所有模型的性能。以上所有模型的性能对比结果如下：

从上面的表格中，可以清楚看到不同模型在 VOC07、VOC12、COCO 数据集上的性能表现；同时列出了模型论文发表来源。

下面列举一些重点标红的模型进行简要介绍。

模型论文篇

2014 年

R-CNN

Rich feature hierarchies for accurate object detection and semantic segmentation | [CVPR' 14]

论文：

https://arxiv.org/pdf/1311.2524.pdf

官方代码 Caffe：

https://github.com/rbgirshick/rcnn

OverFeat

OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks | [ICLR' 14]

论文：

https://arxiv.org/pdf/1312.6229.pdf

官方代码 Torch：

https://github.com/sermanet/OverFeat

2015 年

Fast R-CNN

Fast R-CNN | [ICCV' 15]

论文：

https://arxiv.org/pdf/1504.08083.pdf

官方代码 caffe：

https://github.com/rbgirshick/fast-rcnn

Faster R-CNN

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks | [NIPS' 15]

论文：

https://papers.nips.cc/paper/5638-faster-r-cnn-towards-real-time-object-detection-with-region-proposal-networks.pdf

官方代码 caffe：

https://github.com/rbgirshick/py-faster-rcnn

非官方代码 tensorflow：

https://github.com/endernewton/tf-faster-rcnn

非官方代码 pytorch：

https://github.com/jwyang/faster-rcnn.pytorch

2016 年

OHEM

Training Region-based Object Detectors with Online Hard Example Mining | [CVPR' 16]

论文：

https://arxiv.org/pdf/1604.03540.pdf

官方代码 caffe：

https://github.com/abhi2610/ohem

YOLO v1

You Only Look Once: Unified, Real-Time Object Detection | [CVPR' 16]

论文：

https://arxiv.org/pdf/1506.02640.pdf

官方代码 c：

https://pjreddie.com/darknet/yolo/

SSD

SSD: Single Shot MultiBox Detector | [ECCV' 16]

论文：

https://arxiv.org/pdf/1512.02325.pdf

官方代码 caffe：

https://github.com/weiliu89/caffe/tree/ssd

非官方代码 tensorflow：

https://github.com/balancap/SSD-Tensorflow

非官方代码 pytorch：

https://github.com/amdegroot/ssd.pytorch

R-FCN

R-FCN: Object Detection via Region-based Fully Convolutional Networks | [NIPS' 16]

论文：

https://arxiv.org/pdf/1605.06409.pdf

官方代码 caffe：

https://github.com/daijifeng001/R-FCN

非官方代码 caffe：

https://github.com/YuwenXiong/py-R-FCN

2017 年

YOLO v2

YOLO9000: Better, Faster, Stronger | [CVPR' 17]

论文：

https://arxiv.org/pdf/1612.08242.pdf

官方代码 c：

https://pjreddie.com/darknet/yolo/

非官方代码 caffe：

https://github.com/quhezheng/caffe_yolo_v2

非官方代码 tensorflow：

https://github.com/nilboy/tensorflow-yolo

非官方代码 tensorflow：

https://github.com/sualab/object-detection-yolov2

非官方代码 pytorch：

https://github.com/longcw/yolo2-pytorch

FPN

Feature Pyramid Networks for Object Detection | [CVPR' 17]

论文：

http://openaccess.thecvf.com/content_cvpr_2017/papers/Lin_Feature_Pyramid_Networks_CVPR_2017_paper.pdf

非官方代码 caffe：

https://github.com/unsky/FPN

RetinaNet

Focal Loss for Dense Object Detection | [ICCV' 17]

论文：

https://arxiv.org/pdf/1708.02002.pdf

官方代码 keras：

https://github.com/fizyr/keras-retinanet

非官方代码 pytorch：

https://github.com/kuangliu/pytorch-retinanet

非官方代码 mxnet：

https://github.com/unsky/RetinaNet

非官方代码 tensorflow：

https://github.com/tensorflow/tpu/tree/master/models/official/retinanet

Mask R-CNN

Mask R-CNN | [ICCV' 17]

论文：

http://openaccess.thecvf.com/content_ICCV_2017/papers/He_Mask_R-CNN_ICCV_2017_paper.pdf

官方代码 caffe2：

https://github.com/facebookresearch/Detectron

非官方代码 tensorflow：

https://github.com/matterport/Mask_RCNN

非官方代码 tensorflow：

https://github.com/CharlesShang/FastMaskRCNN

非官方代码 pytorch：

https://github.com/multimodallearning/pytorch-mask-rcnn

2018 年

YOLO v3

YOLOv3: An Incremental Improvement | [arXiv' 18]

论文：

https://pjreddie.com/media/files/papers/YOLOv3.pdf

官方代码 c：

https://pjreddie.com/darknet/yolo/

非官方代码 pytorch：

https://github.com/ayooshkathuria/pytorch-yolo-v3

非官方代码 pytorch：

https://github.com/eriklindernoren/PyTorch-YOLOv3

非官方代码 keras：

https://github.com/qqwweee/keras-yolo3

非官方代码 tensorflow：

https://github.com/mystic123/tensorflow-yolo-v3

RefineDet

Single-Shot Refinement Neural Network for Object Detection | [CVPR' 18]

论文：

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Single-Shot_Refinement_Neural_CVPR_2018_paper.pdf

官方代码 caffe：

https://github.com/sfzhang15/RefineDet

非官方代码 chainer：

https://github.com/fukatani/RefineDet_chainer

非官方代码 pytorch：

https://github.com/lzx1413/PytorchSSD

2019 年

M2Det

M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network | [AAAI' 19]

论文：

https://arxiv.org/pdf/1811.04533.pdf

官方代码 pytorch：

https://github.com/qijiezhao/M2Det

2020 年

Spiking-YOLO

Spiking-YOLO: Spiking Neural Network for Real-time Object Detection | [AAAI' 20]

论文：

https://arxiv.org/pdf/1903.06530.pdf

数据集论文篇

同时作者也列出了以上模型通常使用的公开数据集：VOC、ILSVRC、COCO，如下表所示：

用于目标检测的数据集相关论文如下：

以上就是 52 个深度学习检测模型汇总介绍。该项目可以说把近几年的目标检测模型总结得很不错了，包括论文和源码。希望对大家有所帮助！

THU数据派

THU数据派"基于清华，放眼世界"，以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯，定期组织线下活动，分享前沿产业动态。了解清华大数据，敬请关注姐妹号“数据派THU”。

工程深度学习目标检测计算机视觉

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

SSD技术

一种计算机视觉模型。论文发表于 2015 年（Wei Liu et al.）

来源：介绍文章

YOLO技术

YOLO 模型最早是由 Joseph Redmon 等人在 2015 年发布的，并在随后的两篇论文中进行了修订。

来源：介绍文章

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心