网易首页 > 网易号 > 正文 申请入驻

改进YOLOv3 | IA-YOLO让恶劣天气的目标检测起飞了!!!

0
分享至

虽然基于深度学习的目标检测方法在传统数据集上取得了良好的效果,但在恶劣天气条件下从低质量图像中定位目标仍然具有挑战性。现有的方法要么难以平衡图像增强和目标检测任务,要么往往忽略有利于检测的潜在信息。

为了缓解这一问题,本文提出了一种新的图像自适应YOLO (IA-YOLO)框架,可以对每张图像进行自适应增强,以提高检测性能。针对YOLO探测器的恶劣天气条件,提出了一种可微分的图像处理(DIP)模块,并利用小型卷积神经网络(CNN-PP)对其参数进行预测。

IA-YOLO以端到端的方式学习CNN-PP和YOLOv3,这确保CNN-PP可以学习适当的DIP,以弱监督的方式增强图像进行检测。

本文提出的IA-YOLO方法可以在正常和恶劣天气条件下自适应处理图像。实验结果证明了IAYOLO方法在雾天和弱光情况下的有效性。

1

所提方法

在恶劣天气条件下拍摄的图像,由于特定天气信息的干扰,能见度较差,导致目标检测困难。为了解决这一挑战,本文提出了一种图像自适应检测框架,通过去除特定天气信息并揭示更多潜在信息。如图2所示,整个管道由一个基于cnn的参数预测器(CNNPP)、一个可微分图像处理模块(DIP)和一个检测网络组成。首先调整输入图像的大小为256x256,并将其输入到CNN-PP,以预测DIP的参数。然后,将经过DIP模块滤波后的图像作为YOLOv3检测器的输入。作者提出了一种端到端的混合数据训练方案,该方案具有检测损失,使CNN-PP能够学习适当的DIP,以弱监督方式增强图像的目标检测。

图像滤波器的设计应遵循可微性、分辨率独立的原则。对于基于梯度的CNN-PP优化,滤波器应该是可微的,以允许通过反向传播训练网络。由于CNN在处理高分辨率图像(如4000×3000)时会消耗大量的计算资源,所以在本文中,从下采样的大小为256×256的低分辨率图像中学习滤波器参数,然后将相同的滤波器应用到原始分辨率的图像中。因此,这些过滤器需要独立于图像分辨率。

我们提出的DIP模块由六个可微滤波器组成,具有可调超参数,包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen。标准的颜色和色调操作符,如WB、Gamma、Contrast和Tone,可以表示为像素级滤波器。因此,设计的滤波器可以分为雾化、像素化和锐化。在这些滤波器中,除雾滤波器是专门为大雾场景设计的。具体情况如下。

1、像素级滤波器

像素级滤波器映射一个输入像素值 转换为输出像素值 ,其中 分别表示红、绿、蓝三个颜色通道的值。表1列出了四个像素级过滤器的映射函数,其中第二列列出了在本文的方法中要优化的参数。WB和Gamma是简单的乘法和功率变换。显然,它们的映射函数对于输入图像和参数都是可微的。

设计了可微对比度滤波器,输入参数设置原始图像和完全增强图像之间的线性插值。所示表1,映射函数中 的定义如下:

这里将tone 滤波器设计为一个单调的分段线性函数。用 参数学习tone 滤波器,用 表示,tone 曲线的点记为 ,其中 。此外,映射函数用可微参数表示,这使得函数对于输入图像和参数都是可微的,如下所示

图像锐化可以突出图像的细节。就像未锐化掩模技术(Polesel, Ramponi, and Mathews 2000),锐化过程可以描述如下:

其中 为输入图像, 为高斯滤波器, λ为正缩放因子。这个锐化操作对于 和 λ都是可微的。注意,锐化程度可以通过优化 λ调优目标检测性能。

3、除雾滤波器

基于暗通道先验方法设计了一个具有可学习参数的除雾滤波器。基于大气散射模型,朦胧图像的形成可以表述为:

其中 为雾天图像, 为场景亮度。A为全球大气光, 为介质透射图,定义为:

其中 β为大气的散射系数, 为场景深度。

为了恢复干净图像 ,关键是获取大气光A和透射图 。为此,首先计算暗 通道图,并选择最亮的1000个像素。然后,对雾霾图像 的1000个像素平均估计A。

根据上式 ,可以推导出 的近似解如 下:

进一 步介绍一个参数 除雾程度控制方 法如下:

由于上面的操作是 可微的,可以优化 通过反向传播使除雾滤波器更有利于雾天图像的检测。

CNN-PP Module

在相机图像信号处理(ISP)管道中,通常使用一些可调滤波器进行图像增强,其超参数由经验丰富的工程师通过视觉检查手动调整。

通常,这样的调优过程是非常笨拙和昂贵的,以找到合适的参数,广泛的场景。为了解决这一局限性,建议使用一个较小的CNN作为参数预测器来估计超参数,这是非常有效的。

以雾天场景为例,CNN-PP的目的是通过了解图像的全局内容,如亮度、颜色和色调以及雾的程度来预测DIP的参数。因此,下采样图像足以估计这些信息,可以大大节省计算成本。对于任意分辨率的输入图像,我们简单地使用双线性插值将其采样到256×256分辨率。如图2所示,CNN-PP网络由5个卷积块和2个全连接层组成。

每个卷积块包括一个带有stride=2的3 × 3卷积层和一个LeakyRelu。最后的全连接层输出DIP模块的超参数。这5个卷积层的输出通道分别为16、32、32、32和32。的当参数总数为15时,CNN-PP模型只包含165K个参数。

Detection Network Module

在本文中,选择one-stage检测器YOLOv3作为检测网络。与之前的版本相比,YOLOv3基于ResNet的思想设计了darknet-53,由连续的3×3和1×1卷积层组成。通过对多尺度特征图进行预测,实现多尺度训练,从而进一步提高检测精度,特别是对小目标的检测精度。采用了与原来相同的网络结构和损失函数。

Hybrid Data Training

为了在正常和恶劣天气条件下都能达到理想的检测性能,采用了IA-YOLO混合数据训练方案。算法1总结了提出方法的训练过程。

在输入到网络进行训练之前,每一幅图像都有2/3的概率被随机添加某种雾或被转换为微光图像。无论是普通的还是合成的低质量训练数据,整个过程都是端到端训练,使用YOLOv3检测损失,确保IA-YOLO中的所有模块都可以相互适应。

因此,CNN-PP模块在不手动标注GT真实图像的情况下,受到检测损失的弱监督。混合数据训练模式确保IA-YOLO可以根据每张图像的内容自适应处理图像,从而实现较高的检测性能。

2

实验

指标如下:

可视化结果

[1].Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

机器人学会「眼看手摸」!FreeTacMan 实现人类指尖亲自「授课」

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
樊振东远赴德国打球,俱乐部:我们并非豪门,但给樊振东的待遇绝非象征性的

樊振东远赴德国打球,俱乐部:我们并非豪门,但给樊振东的待遇绝非象征性的

潇湘晨报
2025-06-04 18:37:20
李在明带老婆一起亮相,新第一夫人叫金惠景,比金建希温柔漂亮

李在明带老婆一起亮相,新第一夫人叫金惠景,比金建希温柔漂亮

叶公子
2025-06-04 11:43:43
英国和日本为何突然晒出南京条约和马关条约?

英国和日本为何突然晒出南京条约和马关条约?

谈芯说科技
2025-06-03 16:10:12
痛心!张雅婷已确认离世,年仅22岁

痛心!张雅婷已确认离世,年仅22岁

金湾通
2025-06-04 15:33:45
马斯克怒喷特朗普“大而美”法案:忍不了了,令人厌恶至极

马斯克怒喷特朗普“大而美”法案:忍不了了,令人厌恶至极

财联社
2025-06-04 03:37:10
再这样错下去,中产的崩溃是迟早的事

再这样错下去,中产的崩溃是迟早的事

曹多鱼的财经世界
2025-06-04 09:04:38
越南取消计划生育政策!此前限生最多2孩,2024生育率创历史新低

越南取消计划生育政策!此前限生最多2孩,2024生育率创历史新低

小萝卜丝
2025-06-04 12:53:12
8场狂丢21球最多!亚洲冠军大崩盘,难进世界杯,国足抢12分出线

8场狂丢21球最多!亚洲冠军大崩盘,难进世界杯,国足抢12分出线

侃球熊弟
2025-06-05 00:45:17
三亚被蛇咬死的美女真惨,堂堂三甲医院,面对常见蛇伤却毫无办法

三亚被蛇咬死的美女真惨,堂堂三甲医院,面对常见蛇伤却毫无办法

鋭娱之乐
2025-06-04 14:40:45
又反悔了,特朗普再次变脸:美国欢迎优秀的留学生

又反悔了,特朗普再次变脸:美国欢迎优秀的留学生

美洲报姐
2025-06-05 01:20:34
原粮丰收季品质溯源 古井贡酒的“粮心”价值创造

原粮丰收季品质溯源 古井贡酒的“粮心”价值创造

铑财
2025-06-03 09:57:54
霍启刚弟弟举办订婚宴!霍启仁未婚妻手握一摞红包,预计今年完婚

霍启刚弟弟举办订婚宴!霍启仁未婚妻手握一摞红包,预计今年完婚

大笑江湖史
2025-06-04 16:15:17
动真格、抓现行、抓典型、抓通报!全国多地,正集中整治

动真格、抓现行、抓典型、抓通报!全国多地,正集中整治

政知新媒体
2025-06-04 20:31:46
白象承认“多半”只是商标,面饼还比康师傅少20克

白象承认“多半”只是商标,面饼还比康师傅少20克

映射生活的身影
2025-06-04 16:27:17
卫星图曝光!“多架图-95被摧毁”

卫星图曝光!“多架图-95被摧毁”

环球时报新闻
2025-06-04 15:10:04
没有人会与“恐怖分子”谈判!普京明确:俄方拒绝乌方至少30天停火协议

没有人会与“恐怖分子”谈判!普京明确:俄方拒绝乌方至少30天停火协议

每日经济新闻
2025-06-05 00:04:07
证监会停止降温股市?6月5日,凌晨的三大重要消息全面来袭!

证监会停止降温股市?6月5日,凌晨的三大重要消息全面来袭!

风口招财猪
2025-06-05 01:05:04
当着全球的面,巴基斯坦代表团
承认曾锁定20架印度军机没全打?

当着全球的面,巴基斯坦代表团 承认曾锁定20架印度军机没全打?

大道无形我有型
2025-06-04 18:41:38
张雪峰暂停直播:或许不是他动了谁的蛋糕,而是蛋糕已经快吃完了

张雪峰暂停直播:或许不是他动了谁的蛋糕,而是蛋糕已经快吃完了

黄娜老师
2025-06-04 01:03:10
乌克兰最高拉达议员坦诚,俄军过于靠近苏梅腹地,基辅形势很困难

乌克兰最高拉达议员坦诚,俄军过于靠近苏梅腹地,基辅形势很困难

碳基生物关怀组织
2025-06-04 18:36:29
2025-06-05 02:52:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
6847文章数 20669关注度
往期回顾 全部

科技要闻

小鹏Q1交付暴涨超理想 蔚来亏62亿研发最猛

头条要闻

马斯克炮轰特朗普税改法案"令人作呕" 特朗普很生气

体育要闻

从次轮末到乐透边缘 杨瀚森的试训有什么玄机?

娱乐要闻

彭于晏方出面澄清与蔡依林复合恋情!

财经要闻

地铁涨价争议背后,“赚钱”难题有解吗

汽车要闻

车机升级 新款AION Y Plus上市售9.98万起

态度原创

艺术
时尚
手机
旅游
军事航空

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

黄色+蓝色,今年夏天最美配色!

手机要闻

爆料称三星 Galaxy S26 系列手机将升级长焦摄像头,机身更薄

旅游要闻

热闻|清明假期将至,热门目的地有哪些?

军事要闻

克里米亚大桥又被乌军"盯上":三年三炸