小麦是世界上最重要的粮食作物,其质量品质的健康与否与小麦颗粒外表饱满有着直接的联系。不完善粒是指受到损伤但尚有使用价值的小麦颗粒,包括虫蚀粒、破损粒、生芽粒、黑胚粒和生霉粒,在粮食仓储中,这些不完善粒是造成粮食损耗的主要原因之一。
随着计算机视觉检测技术的不断发展,农业发展的数字化已成为趋势。深度学习的出现为实现农业的智能化提供了新的动力,深度学习算法主要包括二阶段和一阶段两类。二阶段的目标检测算法主要有:基于区域的卷积神经网络(R-CNN)、Fast R-CNN和Faster R-CNN。
根据粮仓内部小麦不完善颗粒检测的实际需求,由算法部署在不同的硬件平台以此进行在线检测,因此所提出算法需兼顾精确度与检测速度。粮食仓储的过程中造成粮食损耗的最主要因素为害虫啃食的虫蚀粒,而在粮库日常管理中由于出入库等机械作业的操作失误,造成了极易吸引害虫啃食的破损粒。
河南工业大学电气工程学院的范嘉伟、闫晶晶和河南工业大学机电工程学院的吴兰*对粮食仓储环节中粮堆表面的虫蚀粒和破损粒进行检测。
1 消融实验
为了说明本研究提出的改进算法在性能上的提升,分别 对 YOLOV4-Tiny、YOLOV4-Tiny-D、YOLOV4-Tiny-S、YOLOV4-Tiny-F、YOLOV4-Tiny-FD、IDS-YOLO的训练结果以及各项评价指标进行对比,其中I为Increase-FPN的缩写,D为重构主干网络的方法(Depthwise Separable Convolution)的缩写,S为本研究中嵌入特征提取模块中改进的注意力机制(SENet)的缩写。‘Broken Kernel’标签实验结果如表6所示,‘Injured Kernel’标签实验结果如表7所示。其中YOLO-Tiny-D是在原模型的基础上只进行了轻量化;YOLOV4-Tiny-S是在YOLOV4-Tiny原本基础上,在采样通道中嵌入了改进后的SENet;YOLOV4-Tiny-I是在原有模型的基础上添加了小目标检测层;YOLOV4-Tiny-FD是在添加检测层的基础上对主干进行了轻量化;IDSYOLO则在YOLOV4-Tiny-FD基础上在采样通道中嵌入了改进的SENet。
实验结果表明,本研究提出的IDS-YOLO模型的各项评价指标均高于其他对比模型,并且在检测速度、精确度以及漏检率3个方面达到平衡。原本模型和改进后模型的损失值和mAP值如图12、13所示。与原本模型对比,改进后的模型在各项指标均有所提升。改进模型与YOLOV4-Tiny-D对比,在速度上略低于YOLOV4-Tiny-D,但是检测的准确度优于YOLOV4-Tiny-D;与YOLOV4-Tiny-IS相比,准确度与模型整体性能相近,但是本研究提出算法在模型的检测速度上有明显的提升。与YOLOV4-Tiny-S、YOLOV4-Tiny-I、YOLOV4-Tiny-ID相比,本研究所提出算法在各项指标均优于对比模型。对比结果如表8所示。
为了能够更加直观地表示改进算法的有效性,本研究使用Grad-CAM绘制模型对消融实验中定量改变的模型进行分析。热力图中红色区越亮表示网络模型越关注不完善粒的特征。热力图的对比结果如图14所示。结果显示,IDS-YOLO模型输出的热力图中对不完善颗粒特征的更加关注。
2 不同模型性能比较
本研究使用相同粮仓内部的小麦不完善颗粒数据集分别在YOLOV10-S、YOLOV8-S、SSD、Moblenet-YOLOV4、YOLOV7-Tiny这些轻量化模型中训练。性能对比如表9所示,本研究所提出的IDS-YOLO模型参数量为5.51 MB,相比于其他轻量化算法参数量更低,mAP值相比于其他模型平均高6.2%。其中FPS的值是评估模型实时性的重要指标。通常情况下,支持实时目标检测的模型需要达到至少30 帧/s的处理速度,才能保证实时性能。由实验结果可知,IDS-YOLO的FPS值为88.03,大于标准值并且高于其他对比算法,可以用于实时检测。表10为本研究提出算法与现有检测不完善粒算法的性能对比,IDS-YOLO相比于WGNet内存多2.31 MB,但WGNet检测呈分散状态的不完善粒并且精确度相比于IDS-YOLO低3.77%。相比除WGNet外的其他算法,IDS-YOLO的内存均低于所对比算法,精确度均高于其他算法。
3 不同模型训练结果的比较
为了验证本研究所提出检测算法的准确性,本研究对YOLO系列算法以及SSD算法在自建数据集上的性能进行对比分析。由于本研究对比的指标含有FPS值,因此二阶段的Faster-Rcnn系列算法不进行对比实验。
表11为IDS-YOLO在‘Broken Kernel’标签下与其他先进算法性能对比的相关结果。实验结果表明,IDS-YOLO与其他模型相比取得了最好的综合性能,在检测破损颗粒样本时的平均精度相比于YOLOV8-S高3.25%,准确率高4.47%。与YOLOV10-S相比,平均精度高7.41%,准确率高5.17%。IDS-YOLO的检测准确率为97.12%、召回率为96.90%、平均精度为95.92%、F1分数为0.97,各项指标均高于其他轻量化模型,检测能力和模型的综合性能更高,具有更好的检测性能。
表12为IDS-YOLO在‘Injured Kernel’标签下与其他先进算法性能对比的相关结果。IDS-YOLO检测准确率为98.59%、召回率为99.14%、平均精度为98.67%、F1分数为0.99。相比于其他轻量化算法,平均精度高5.27%,并且其他指标均高于其他轻量化算法。与YOLOV8-S模型相比,准确率高4.08%,平均精度高4.15%,F1分数提升0.04。相比于YOLOV10-S,平均精度值高3.36%,准确率高3.5%,F1分数提升0.04。
表11、12结果表明,本研究所改进的模型在检测虫蚀粒与破损粒的过程中有着优越的性能。
本研究通过对验证集的检测对比各个算法之间的漏检率。验证集中包含20 粒的图像。图15为20 粒的预测结果对比。
其中,本研究所提出算法IDS-YOLO在20 粒的验证实验中无漏检,YOLOV8-S算法漏检1 粒,YOLOV10-S与YOLOV7-Tiny漏检2 粒,SSD与Mobilenet-YOLOV4漏检3 粒。本研究为了验证所提出模型的低漏检率,提取了训练集中不存在的30 粒图像用于检测。
图16为30 粒的检测效果对比图。检测结果表明:本研究所提出算法IDS-YOLO在30 粒的验证实验中漏检了1 粒,YOLOV8-S算法漏检了3 粒,并且本研究所改进算法的参数量为YOLOV8-S模型的二分之一。其余对比的轻量化算法漏检范围在4~6 粒之间。
由于粮食无人机以及其他粮面检测设备在粮仓内部进行检测时往往受到多种情况的影响:光照强度、拍摄的倾斜度。为此,本研究使用不同的粮面检测设备对实时检测中所遇到不同情况进行采集,采集图像作为验证集,以验证所提出算法的有效性。图17为光照较暗情况下本研究提出算法与其他算法的检测效果对比。图18为倾斜角度拍摄图像的检测效果对比。图17中图像中的不完善颗粒为20 粒,在光照条件恶劣的情况下,本研究改进算法IDS-YOLO漏检1 粒,YOLOV8-S与YOLOV10-S漏检2 粒,其余对比算法漏检范围为3~8 粒。
图18中倾斜角度拍摄图像中不完善颗粒为21 粒,在镜头倾斜时捕捉到了新的不完善颗粒;IDS-YOLO漏检1 粒,YOLOV10-S、YOLOV8-S漏检2 粒,其余轻量化对比算法漏检范围在3~4 粒。
由不同环境的检测效果可以得出,本研究提出的改进算法模型虽然可以对不良光照环境和倾斜角度的图像有着良好的识别效果,但是模型依旧需要进一步改进以应对更多在实时检测中发生的各种情况。
4 结论
本研究提出了一种基于YOLOV4-Tiny算法的改进模型。为了提升模型的实时检测能力与硬件部署的方便性,本研究使用深度分离卷积的方式对参数计算量进行优化,使得模型整体的参数量减少。由于本研究的检测背景为密集的小麦颗粒,为了使模型对小目标具有更低的漏检率,添加了小目标检测头。在模型轻量化的同时兼顾检测的精确度,本研究在特征融合通道中加入改进的通道注意力机制SENnet。改进后的模型大小仅为5.51 MB,图像处理速度为88.03 帧/s,满足实时检测的要求。检测‘Broken Kernel’和‘Injured Kernel’的平均精度分别为95.92%、98.67%。通过与其他算法对比可知,改进后的IDS-YOLO不仅具有良好的特征提取能力,并且模型体积小、精度高,可满足高大平方仓中粮食无人机的部署与实时检测要求。
考虑到粮食无人机与其他粮面检测设备在行进过程中会扬起尘土降低获取图像的质量,未来的工作将继续深入研究检测过程中对于高噪声图像的处理,为提高粮仓自动化管理的效率做出贡献。
作者简介
通信作者
吴兰 教授
河南工业大学机电工程学院 院长
吴兰,女,博士,教授,博士生导师,机电工程学院院长。享受河南省政府特殊津贴专家、河南省特聘教授、河南省中原千人计划、河南省优秀青年科技专家、河南省高校科技创新人才、河南省教学标兵等。中国自动化学会技术过程故障诊断与安全性专业委员会委员,中国自动化学会机器人专业委员会委员,中国人工智能学会智能服务专委会委员;河南省机器人行业协会副会长、河南省自动化学会常务理事。主要研究方向是智能感知与故障诊断、先进机器人。主持国家自然科学基金(3 项)等各类项目20余项;发表学术论文50余篇;出版教材与专著3 部;制定标准4 项;授权国家专利17 项,获河南省科技进步奖二等奖3 项,中国仪器仪表学会科技进步奖二等奖1 项,河南省青年科技奖1 项,中国产学研合作创新与促进奖1 项等。主要研究方向为深度学习,储粮安全及智能粮机制造。
第一作者
范嘉伟 硕士研究生
河南工业大学 电气工程学院
范嘉伟,男,硕士研究生,主要研究方向为深度学习,储粮安全。
本文《基于IDS-YOLO的粮堆表面小麦不完善粒实时检测方法》来源于《食品科学》2024年45卷第23期268-277页,作者:范嘉伟,吴兰*,闫晶晶。DOI:10.7506/spkx1002-6630-20240519-115。点击下方阅读原文即可查看文章相关信息。
实习编辑:普怡然;责任编辑:张睿梅。点击下方阅读原文即可查看全文。图片来源于文章原文及摄图网
为深入探讨未来食品在大食物观框架下的创新发展机遇与挑战,促进产学研用各界的交流合作,由北京食品科学研究院、中国肉类食品综合研究中心、国家市场监督管理总局技术创新中心(动物替代蛋白)及中国食品杂志社《食品科学》杂志、《Food Science and Human Wellness》杂志、《Journal of Future Foods》杂志主办,西华大学食品与生物工程学院、四川旅游学院烹饪与食品科学工程学院、四川轻化工大学生物工程学院、成都大学食品与生物工程学院、成都医学院检验医学院、四川省农业科学院农产品加工研究所、中国农业科学院都市农业研究所、四川大学农产品加工研究院、西昌学院农业科学学院、宿州学院生物与食品工程学院、大连民族大学生命科学学院、北京联合大学保健食品功能检测中心共同主办的“第二届大食物观·未来食品科技创新国际研讨会”即将于2025年5月24-25日在中国 四川 成都召开。
长按或微信扫码进行注册
会议招商招展
联系人:杨红;电话:010-83152138;手机:13522179918(微信同号)
为进一步深入探讨食品产业在当前复杂多变环境下的高质量发展路径,并着重关注食品科学、营养安全保障的基础研究与关键技术研发,贯彻落实“大食物观”和“健康中国2030”国家战略,北京食品科学研究院和中国食品杂志社《食品科学》杂志、《Food Science and Human Wellness》杂志在成功召开前十一届“食品科学国际年会”和五届“食品科学与人类健康国际研讨会”及二十余次食品专题研讨会的基础上,将与国际谷物科技协会(ICC)、湖南省食品科学技术学会、湖南省农业科学院农产品加工研究所、湖南农业大学、中南林业科技大学、长沙理工大学、湘潭大学、湖南中医药大学、湖南农业大学长沙现代食品创新研究院共同举办的“第十二届食品科学国际年会”即将于2025年8月9-10日在中国 湖南 长沙召开。
长按或微信扫码进行注册
会议招商招展
联系人:杨红;电话:010-83152138;手机:13522179918(微信同号)
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.