基于YOLOv7的室内场景智能识别系统（源码＆教程）

最新推荐文章于 2024-07-22 01:00:00 发布

m0_73650382

最新推荐文章于 2024-07-22 01:00:00 发布

阅读量1.7k

点赞数 3

文章标签：深度学习人工智能

本文链接： https://blog.csdn.net/m0_73650382/article/details/127686377

版权

1.项目背景：

近年来，随着移动互联网与定位技术的发展，基于位置服务越来越多地出现在人们的日常生活中。虽然智能手机都包含很多基于位置服务的应用，但是传统的基于位置服务常常将服务范围划分为室内与室外两种场景。室内外无缝定位系统是人们关注及研究的热点，而其基础是准确的室内外场景识别技术。

2.识别效果展示

2.视频演示

基于YOLOv7的室内场景智能识别系统（源码＆教程）_哔哩哔哩_bilibili

3.YOLOv7算法简介

YOLOv7 在 5 FPS 到 160 FPS 范围内，速度和精度都超过了所有已知的目标检测器

并在 V100 上，30 FPS 的情况下达到实时目标检测器的最高精度 56.8% AP。YOLOv7 是在 MS COCO 数据集上从头开始训练的，不使用任何其他数据集或预训练权重。
相对于其他类型的工具，YOLOv7-E6 目标检测器（56 FPS V100，55.9% AP）比基于 transformer 的检测器 SWINL Cascade-Mask R-CNN（9.2 FPS A100，53.9% AP）速度上高出 509%，精度高出 2%，比基于卷积的检测器 ConvNeXt-XL Cascade-Mask R-CNN (8.6 FPS A100, 55.2% AP) 速度高出 551%，精度高出 0.7%。

此外， YOLOv7 的在速度和精度上的表现也优于 YOLOR、YOLOX、Scaled-YOLOv4、YOLOv5、DETR 等多种目标检测器。

4.YOLOv7 技术方法

近年来，实时目标检测器仍在针对不同的边缘设备进行开发。例如，MCUNet 和 NanoDet 的开发专注于生产低功耗单芯片并提高边缘 CPU 的推理速度；YOLOX、YOLOR 等方法专注于提高各种 GPU 的推理速度；实时目标检测器的发展集中在高效架构的设计上；在 CPU 上使用的实时目标检测器的设计主要基于 MobileNet、ShuffleNet 或 GhostNet；为 GPU 开发的实时目标检测器则大多使用 ResNet、DarkNet 或 DLA，并使用 CSPNet 策略来优化架构。

YOLOv7 的发展方向与当前主流的实时目标检测器不同，研究团队希望它能够同时支持移动 GPU 和从边缘到云端的 GPU 设备。除了架构优化之外，该研究提出的方法还专注于训练过程的优化，将重点放在了一些优化模块和优化方法上。这可能会增加训练成本以提高目标检测的准确性，但不会增加推理成本。研究者将提出的模块和优化方法称为可训练的「bag-of-freebies」。

对于模型重参数化，该研究使用梯度传播路径的概念分析了适用于不同网络层的模型重参数化策略，并提出了有计划的重参数化模型。此外，研究者发现使用动态标签分配技术时，具有多个输出层的模型在训练时会产生新的问题：「如何为不同分支的输出分配动态目标？」针对这个问题，研究者提出了一种新的标签分配方法，称为从粗粒度到细粒度（coarse-to-fine）的引导式标签分配。

该研究的主要贡献包括：

(1) 设计了几种可训练的 bag-of-freebies 方法，使得实时目标检测可以在不增加推理成本的情况下大大提高检测精度；

(2) 对于目标检测方法的演进，研究者发现了两个新问题：一是重参数化的模块如何替换原始模块，二是动态标签分配策略如何处理分配给不同输出层的问题，并提出了解决这两个问题的方法；

(3) 参考该博客提出的实时目标检测器的「扩充（extend）」和「复合扩展（compound scale）」方法，以有效地利用参数和计算；

(4) 该研究提出的方法可以有效减少 SOTA 实时目标检测器约 40% 的参数和 50% 的计算量，并具有更快的推理速度和更高的检测精度。

在大多数关于设计高效架构的文献中，人们主要考虑的因素包括参数的数量、计算量和计算密度。下图 2（b）中 CSPVoVNet 的设计是 VoVNet 的变体。CSPVoVNet 的架构分析了梯度路径，以使不同层的权重能够学习更多不同的特征，使推理更快、更准确。图 2 © 中的 ELAN 则考虑了「如何设计一个高效网络」的问题。

YOLOv7 研究团队提出了基于 ELAN 的扩展 E-ELAN，其主要架构如图所示。

新的 E-ELAN 完全没有改变原有架构的梯度传输路径，其中使用组卷积来增加添加特征的基数（cardinality），并以 shuffle 和 merge cardinality 的方式组合不同组的特征。这种操作方式可以增强不同特征图学得的特征，改进参数的使用和计算效率。

无论梯度路径长度和大规模 ELAN 中计算块的堆叠数量如何，它都达到了稳定状态。如果无限堆叠更多的计算块，可能会破坏这种稳定状态，参数利用率会降低。新提出的 E-ELAN 使用 expand、shuffle、merge cardinality 在不破坏原有梯度路径的情况下让网络的学习能力不断增强。

在架构方面，E-ELAN 只改变了计算块的架构，而过渡层（transition layer）的架构完全没有改变。YOLOv7 的策略是使用组卷积来扩展计算块的通道和基数。研究者将对计算层的所有计算块应用相同的组参数和通道乘数。然后，每个计算块计算出的特征图会根据设置的组参数 g 被打乱成 g 个组，再将它们连接在一起。此时，每组特征图的通道数将与原始架构中的通道数相同。最后，该方法添加 g 组特征图来执行 merge cardinality。除了保持原有的 ELAN 设计架构，E-ELAN 还可以引导不同组的计算块学习更多样化的特征。
因此，对基于串联的模型，我们不能单独分析不同的扩展因子，而必须一起考虑。该研究提出图（c），即在对基于级联的模型进行扩展时，只需要对计算块中的深度进行扩展，其余传输层进行相应的宽度扩展。参考博客的这种复合扩展方法可以保持模型在初始设计时的特性和最佳结构。

此外，该研究使用梯度流传播路径来分析如何重参数化卷积，以与不同的网络相结合。下图展示了该研究设计的用于 PlainNet 和 ResNet 的「计划重参数化卷积」。

5.数据集的准备

自己创建一个myself.yaml文件用来配置路径，路径格式与之前的V5、V6不同，只需要配置txt路径就可以

train-list.txt和val-list.txt文件里存放的都是图片的绝对路径（也可以放入相对路径）

如何获取图像的绝对路径，脚本写在下面了（也可以获取相对路径）

# From Mr. Dinosaur
 
import os
 
 
def listdir(path, list_name):  # 传入存储的list
    for file in os.listdir(path):
        file_path = os.path.join(path, file)
        if os.path.isdir(file_path):
            listdir(file_path, list_name)
        else:
            list_name.append(file_path)
 
 
list_name = []
path = 'D:/PythonProject/data/'  # 文件夹路径
listdir(path, list_name)
print(list_name)
 
with open('./list.txt', 'w') as f:  # 要存入的txt
    write = ''
    for i in list_name:
        write = write + str(i) + '\n'
    f.write(write)

6.训练过程

运行train.py

train文件还是和V5一样，为了方便，我将需要用到的文件放在了根目录下

路径修改完之后右击运行即可

1.等待漫长的训练过程，实测GPU 3090ti训练长达40小时以上

2.在训练方面，YOLOv7相比YOLOv5更吃配置尤其是显存（上图可以看出需要23.1G显存，爆显存建议降低batchsize），建议电脑显存8G以下的谨慎尝试，可能训练的过程低配置的电脑会出现蓝屏等现象皆为显卡过载

3.在预测方面，使用本文提供的训练好的权重进行预测可以跳过上一步训练的步骤，CPU也能取得很好的预测结果且不会损伤电脑

附上推荐设备配置

7.测试验证

下面放上对比图：（上面V7，下面V5）

8.项目展示

下图源码&环境部署视频教程&数据集&自定义UI界面

参考博客《基于YOLOv7的室内场景智能识别系统（源码＆教程）》

9.参考文献:

[1]胡贤贤,汪云甲,孙猛,等.基于神经网络的室内外场景识别方法[J].科学技术与工程.2021,(3).1091-1096.
[2]韩冷,戴鹏,阳媛,等.多源信息融合的室内定位方法[J].传感器与微系统.2020,(7).21-24.DOI:10.13873/J.1000-9787(2020)07-0021-04.
[3]李博心,祁浩然,鲁祥,等.室内定位算法与技术综述[J].电子元器件与信息技术.2020,(1).47-50.DOI:10.19772/j.cnki.2096-4455.2020.1.020.
[4]谢地,鲁照权,丁浩峰,等.基于超声波测距的高精度室内定位系统[J].传感器与微系统.2019,(10).98-101.DOI:10.13873/J.1000-9787(2019)10-0098-04.
[5]代一平.浅析RFID技术在图书馆中的应用[J].信息技术与信息化.2019,(7).176-178.DOI:10.3969/j.issn.1672-9528.2019.07.057.
[6]杨晶晶.基于RFID技术门禁系统的设计与实现[J].数字技术与应用.2019,(7).141,143.DOI:10.19695/j.cnki.cn12-1369.2019.07.70.
[7]秦斌斌,何极,赵萌,等.基于Android和RFID的门禁管理系统[J].无线通信技术.2018,(4).56-60.DOI:10.3969/j.issn.1003-8329.2018.04.012.
[8]邓中亮,尹露,唐诗浩,等.室内定位关键技术综述[J].导航定位与授时.2018,(3).14-23.DOI:10.19306/j.cnki.2095-8110.2018.03.003.
[9]毕京学,汪云甲,甄杰.一种基于手机端的室内外场景识别方法及其初步实验[J].地理与地理信息科学.2017,(3).48-51.
[10]陈锐志,陈亮.基于智能手机的室内定位技术的发展现状和挑战[J].测绘学报.2017,(10).1316-1326.
[11]樊培毅,陈阳,程森森,等.基于Wi Fi室内定位的地下停车场智能导航系统[J].物联网技术.2016,(4).31-34.
[12]阮锦佳,罗丹,罗海勇.基于支持向量机多分类器的室内外场景感知算法[J].计算机应用.2015,(11).3135-3138,3145.DOI:10.11772/j.issn.1001-9081.2015.11.3135.
[13]胡旭科,尚建嘎,古富强,等.融合GPS与Wi-Fi的室内外无缝定位原型系统研制[J].小型微型计算机系统.2014,(2).428-432.DOI:10.3969/j.issn.1000-1220.2014.02.046.
[14]杨元喜.北斗卫星导航系统的进展、贡献与挑战[J].测绘学报.2010,(1).1-6.
[15]李锦锋,许勇.基于LBP和小波纹理特征的室内室外场景分类算法[J].中国图象图形学报A.2010,(5).742-748.
[16]周祖渊.全球卫星导航系统的构成及其比较[J].重庆交通大学学报（自然科学版）.2008,(z1).999-1004.
[17]贾东升,王飞雪.欧洲伽利略计划及其新技术概述[J].航空电子技术.2003,(3).5-9,23.
[18]高星伟.全球导航卫星系统（GLONASS）[J].测绘通报.2001,(3).6.
[19]王安义,欧雪.基于粒子滤波的PDR/地磁指纹室内定位[J].测绘通报.2021,(1).24-28.