基于Atlas200DK的原版YOLOv3(Darknet-53)实现 如何操作

基于Atlas200DK的原版YOLOv3(Darknet-53)实现 如何操作_58汽车

基于华为Atlas200DKAI开发者套件,本文分享了如何运行基于COCO数据集训练的TensorFlow版本的YOLOv3模型。文章涵盖了模型转化、数据预处理、推理和后处理,提供了完整的工程代码和测试视频。实验结果显示,Atlas200DK运行YOLOv3模型性能良好,但后处理速度较慢,未来可进行优化。

PS:这里介绍的是基于华为Atlas200DKAI开发者套件的开发分享,可以简单理解为华为的边缘计算设备,关于Atlas200DK的介绍可以参考下面的链接

YOLOv3可以算作是经典网络了,较好实现了速度和精度的Tradeoff,成为和目标检测的首选网络,堪称是史诗巨作级别(我是这么认为的)。YOLOv3是在YOLOv1和YOLOv2的基础上,改进而来,如果希望深入了解,建议看看前两个版本,这里附上网络上比较好的分析博文:

YOLOv1https://blog.csdn.net/litt1e/article/details/88814417

YOLOv2https://blog.csdn.net/litt1e/article/details/88852745

对于今天的主角YOLOv3,强烈建议看看作者的原版论文,像是一篇报告,篇幅很短,写的十分风趣幽默,是论文届一股清流啊。附上论文链接:

论文地址:https://pjreddie.com/media/files/papers/YOLOv3.pdf

论文:YOLOv3:AnIncrementalImprovement

1.华为Atlas系列产品——Atlas200DK

2.配置好的虚拟机,可连接Atlas200DK

这里提供完整的工程,包括转化好的模型,只要你有Atlas200DK即可运行。

好了,下面该今天的主角登场了——YOLOv3,先看看结构图,来个直观的了解:

是的,没错,这张图是我在博客上看到的,附博客链接:https://blog.csdn.net/leviopku/article/details/82660381,这篇博客解析了YOLOv3,写的不错,大家可以看看。在博客中,作者总结了YOLOv3的特点,如下:

YOLO_v3作为YOLO系列目前最新的算法(截止发此文时),对之前的算法既有保留又有改进。先分析一下YOLOv3上保留的东西:

1.分而治之”,从yolo_v1开始,yolo算法就是通过划分单元格来做检测,只是划分的数量不一样。

2.采用”leakyReLU”作为激活函数。

3.端到端进行训练。一个lossfunction搞定训练,只需关注输入端和输出端。

4.从yolo_v2开始,yolo就用batchnormalization作为正则化、加速收敛和避免过拟合的方法,把BN层和leakyrelu层接到每一层卷积层之后。

5.多尺度训练。在速度和准确率之间tradeoff。想速度快点,可以牺牲准确率;想准确率高点儿,可以牺牲一点速度。

YOLO系列的提升很大一部分决定于backbone网络的提升,从v2的darknet-19到v3的darknet-53。yolo_v3还提供替换backbone——tinydarknet。要想性能牛叉,backbone可以用Darknet-53,要想轻量高速,可以用tiny-darknet。

总之,YOLO就是天生“灵活”,所以特别适合作为工程算法。这里要说明的是,leakyReLU在Ascend310上适配不是很好,可能只有TensorFlow1.12版本可以用,大家注意,如果使用TensorFlow版本模型去转化为.om模型,建议使用TensorFlow1.12版本,据说适配比较好哦。

整体例程和PC端类似,分为数据输入,预处理,送入模型推理,推理结果解析四部分。这里是基于我以前发的另一个工程修改的,你可以在本工程看到原来工程的痕迹哦,附上原工程链接:https://bbs.huaweicloud.com/blogs/170452,在原工程上修改,这样可以提高效率,比如创建Graph等操作都直接就行了,建议大家也可以参考,在实现自己工程时,最好在官方例程或现有能运行代码上修改,这样比较快,也更容易成功。

先来看看模型转化,模型使用的是基于COCO数据集训练的TensorFlow版本的YOLOv3模型。

模型来自https://github.com/wizyoung/YOLOv3_TensorFlow/releases/里面的yolo_tf_weights.zip,可自行下载,不过不下载也没事,这里提供了完成的代码,只要你有Atlas200DK即可运行。下载后按照帖子转换完成,得到.pb模型。帖子链接:https://bbs.huaweicloud.com/forum/thread-45383-1-1.html

下面是模型转化,通过Netron可以看到模型输入节点为Placeholder输入为1,416,416,3。这表示模型输入为一张图片,图片为416*416大小,3通道,也就是我们常用的RGB格式。

这里我们输入的是视频,使用OpenCV读取的视频,得到视频帧,对每一视频帧进行逐帧处理,注意OpenCV得到的帧是BGR格式,需要转为RGB格式,而且视频帧大小不一定符合模型输入要求的416*416,所以还要做resize。我在模型转化时,开启AIPP,完成BGR到RGB的色域转换,这样可以提高硬件利用率和程序整体执行效率,官方也建议使用AIPP的,而resize使用OpenCV来完成。之后送入模型,得到推理结果,对推理结果解析,最终将结果写入图片保存。

主代码main.py

推理代码

代码中加了一些注释,应该比较好理解,有机会再加更详细的注释吧。

首先要下载完整代码,并提供了三段测试视频,供选择。代码下载链接:

链接:https://pan.baidu.com/s/1E86SFEYjmhaGoQVc6Y7gfg

提取码:ok0l

下载后,解压缩,可以得到:

之后将包含上述文件的文件夹拷贝到Atlas200DK上,在存放目录下执行命令

注意,我是在YOLOv3_COCO文件下目录下使用的命令,所以直接用文件夹名字就行,否则需要指定路径,使用的是USB连接开发板,如果用网线连接,IP可能不同,更多拷贝文件的方法,请参考博文每天进步一点点——使用scp命令在Atlas200DK和虚拟机之间传输文件(文件夹)

链接为https://bbs.huaweicloud.com/blogs/168928

这里模型有点大,传输可能需要点时间,传输完成结果为

之后登陆开发板,执行命令即可。因为前面,我拷贝到了开发板的/home/HwHiAiUser目录下,所以直接登陆就能看到了,直接执行命令进入文件夹即可

下面执行程序

在input_video文件夹下放了三个用于测试的视频,分辨率分别是1920*1080、1280*720和640*480,这里使用的是person.mp4,分辨率1920*1080

等待程序执行,最后得到

表示程序运行完成,处理一帧大概需要300ms,比较慢,分析可知,主要是读取视频和后处理较慢,推理速度挺快的,后期可能要对后处理做优化,比如使用算子完成后处理,或者硬件解码视频,使用OpenCV读取视频应该不较慢,而且图像质量感觉一般。

最后,将输出的结果图片拷贝到虚拟机就可以查看了,我的命令为

我拷贝到了虚拟机的tmp文件夹下,具体拷贝文件到虚拟机细节可参考博文https://bbs.huaweicloud.com/blogs/168928

总的来说,Atlas200DK挺强的,运行118M的YOLOv3模型毕竟很耗资源。在1920*1080、1280*720和640*480分辨率的视频下,速度还可以,如图

这里展示三个视频,是做了人(红色),自行车(绿色)和car(蓝色)类别的绘制矩形框。可自行修改代码,绘制COCO数据集80类矩形框,不过速度会慢哈。

最终生成的是图片,如果想合成视频,可以参考https://bbs.huaweicloud.com/blogs/168952

以上内容由58汽车提供。如有任何买车、用车、养车、玩车相关问题,欢迎在下方表单填写您的信息,我们将第一时间与您联系,为您提供快捷、实用、全面的解决方案。

原创文章,作者:58汽车,如若转载,请注明出处:https://car.58.com/7516800/