网易首页 > 网易号 > 正文 申请入驻

改进YOLOv3 | IA-YOLO让恶劣天气的目标检测起飞了!!!

0
分享至

虽然基于深度学习的目标检测方法在传统数据集上取得了良好的效果,但在恶劣天气条件下从低质量图像中定位目标仍然具有挑战性。现有的方法要么难以平衡图像增强和目标检测任务,要么往往忽略有利于检测的潜在信息。

为了缓解这一问题,本文提出了一种新的图像自适应YOLO (IA-YOLO)框架,可以对每张图像进行自适应增强,以提高检测性能。针对YOLO探测器的恶劣天气条件,提出了一种可微分的图像处理(DIP)模块,并利用小型卷积神经网络(CNN-PP)对其参数进行预测。

IA-YOLO以端到端的方式学习CNN-PP和YOLOv3,这确保CNN-PP可以学习适当的DIP,以弱监督的方式增强图像进行检测。

本文提出的IA-YOLO方法可以在正常和恶劣天气条件下自适应处理图像。实验结果证明了IAYOLO方法在雾天和弱光情况下的有效性。

1

所提方法

在恶劣天气条件下拍摄的图像,由于特定天气信息的干扰,能见度较差,导致目标检测困难。为了解决这一挑战,本文提出了一种图像自适应检测框架,通过去除特定天气信息并揭示更多潜在信息。如图2所示,整个管道由一个基于cnn的参数预测器(CNNPP)、一个可微分图像处理模块(DIP)和一个检测网络组成。首先调整输入图像的大小为256x256,并将其输入到CNN-PP,以预测DIP的参数。然后,将经过DIP模块滤波后的图像作为YOLOv3检测器的输入。作者提出了一种端到端的混合数据训练方案,该方案具有检测损失,使CNN-PP能够学习适当的DIP,以弱监督方式增强图像的目标检测。

图像滤波器的设计应遵循可微性、分辨率独立的原则。对于基于梯度的CNN-PP优化,滤波器应该是可微的,以允许通过反向传播训练网络。由于CNN在处理高分辨率图像(如4000×3000)时会消耗大量的计算资源,所以在本文中,从下采样的大小为256×256的低分辨率图像中学习滤波器参数,然后将相同的滤波器应用到原始分辨率的图像中。因此,这些过滤器需要独立于图像分辨率。

我们提出的DIP模块由六个可微滤波器组成,具有可调超参数,包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen。标准的颜色和色调操作符,如WB、Gamma、Contrast和Tone,可以表示为像素级滤波器。因此,设计的滤波器可以分为雾化、像素化和锐化。在这些滤波器中,除雾滤波器是专门为大雾场景设计的。具体情况如下。

1、像素级滤波器

像素级滤波器映射一个输入像素值 转换为输出像素值 ,其中 分别表示红、绿、蓝三个颜色通道的值。表1列出了四个像素级过滤器的映射函数,其中第二列列出了在本文的方法中要优化的参数。WB和Gamma是简单的乘法和功率变换。显然,它们的映射函数对于输入图像和参数都是可微的。

设计了可微对比度滤波器,输入参数设置原始图像和完全增强图像之间的线性插值。所示表1,映射函数中 的定义如下:

这里将tone 滤波器设计为一个单调的分段线性函数。用 参数学习tone 滤波器,用 表示,tone 曲线的点记为 ,其中 。此外,映射函数用可微参数表示,这使得函数对于输入图像和参数都是可微的,如下所示

图像锐化可以突出图像的细节。就像未锐化掩模技术(Polesel, Ramponi, and Mathews 2000),锐化过程可以描述如下:

其中 为输入图像, 为高斯滤波器, λ为正缩放因子。这个锐化操作对于 和 λ都是可微的。注意,锐化程度可以通过优化 λ调优目标检测性能。

3、除雾滤波器

基于暗通道先验方法设计了一个具有可学习参数的除雾滤波器。基于大气散射模型,朦胧图像的形成可以表述为:

其中 为雾天图像, 为场景亮度。A为全球大气光, 为介质透射图,定义为:

其中 β为大气的散射系数, 为场景深度。

为了恢复干净图像 ,关键是获取大气光A和透射图 。为此,首先计算暗 通道图,并选择最亮的1000个像素。然后,对雾霾图像 的1000个像素平均估计A。

根据上式 ,可以推导出 的近似解如 下:

进一 步介绍一个参数 除雾程度控制方 法如下:

由于上面的操作是 可微的,可以优化 通过反向传播使除雾滤波器更有利于雾天图像的检测。

CNN-PP Module

在相机图像信号处理(ISP)管道中,通常使用一些可调滤波器进行图像增强,其超参数由经验丰富的工程师通过视觉检查手动调整。

通常,这样的调优过程是非常笨拙和昂贵的,以找到合适的参数,广泛的场景。为了解决这一局限性,建议使用一个较小的CNN作为参数预测器来估计超参数,这是非常有效的。

以雾天场景为例,CNN-PP的目的是通过了解图像的全局内容,如亮度、颜色和色调以及雾的程度来预测DIP的参数。因此,下采样图像足以估计这些信息,可以大大节省计算成本。对于任意分辨率的输入图像,我们简单地使用双线性插值将其采样到256×256分辨率。如图2所示,CNN-PP网络由5个卷积块和2个全连接层组成。

每个卷积块包括一个带有stride=2的3 × 3卷积层和一个LeakyRelu。最后的全连接层输出DIP模块的超参数。这5个卷积层的输出通道分别为16、32、32、32和32。的当参数总数为15时,CNN-PP模型只包含165K个参数。

Detection Network Module

在本文中,选择one-stage检测器YOLOv3作为检测网络。与之前的版本相比,YOLOv3基于ResNet的思想设计了darknet-53,由连续的3×3和1×1卷积层组成。通过对多尺度特征图进行预测,实现多尺度训练,从而进一步提高检测精度,特别是对小目标的检测精度。采用了与原来相同的网络结构和损失函数。

Hybrid Data Training

为了在正常和恶劣天气条件下都能达到理想的检测性能,采用了IA-YOLO混合数据训练方案。算法1总结了提出方法的训练过程。

在输入到网络进行训练之前,每一幅图像都有2/3的概率被随机添加某种雾或被转换为微光图像。无论是普通的还是合成的低质量训练数据,整个过程都是端到端训练,使用YOLOv3检测损失,确保IA-YOLO中的所有模块都可以相互适应。

因此,CNN-PP模块在不手动标注GT真实图像的情况下,受到检测损失的弱监督。混合数据训练模式确保IA-YOLO可以根据每张图像的内容自适应处理图像,从而实现较高的检测性能。

2

实验

指标如下:

可视化结果

[1].Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

关于人工智能前沿的十个问题

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
5天没露面,哈梅内伊交代后事:如果遇刺,革命卫队接管最高权力

5天没露面,哈梅内伊交代后事:如果遇刺,革命卫队接管最高权力

兵说
2025-06-23 00:09:35
B-2在伊朗大显身手,但为何全球仅解放军能击落美军幽灵轰炸机

B-2在伊朗大显身手,但为何全球仅解放军能击落美军幽灵轰炸机

淡然小司
2025-06-22 21:40:26
伊朗核设施遭袭后画面公开

伊朗核设施遭袭后画面公开

中国基金报
2025-06-22 13:52:31
世俱杯焦点战:迈阿密国际对帕梅拉斯,巅峰对决一触即发 !

世俱杯焦点战:迈阿密国际对帕梅拉斯,巅峰对决一触即发 !

天望远镜
2025-06-22 23:27:47
以媒曝飞行追踪数据:两架B-2轰炸机从美国本土起飞,飞往关岛美军基地

以媒曝飞行追踪数据:两架B-2轰炸机从美国本土起飞,飞往关岛美军基地

环球网资讯
2025-06-21 19:00:20
张靓颖最新物料,姐姐越来越会穿了

张靓颖最新物料,姐姐越来越会穿了

东方不败然多多
2025-06-22 11:34:21
发现一个现象:你吼了孩子,他敢顶嘴,说明这个家还有救;如果孩子一声不吭……

发现一个现象:你吼了孩子,他敢顶嘴,说明这个家还有救;如果孩子一声不吭……

LULU生活家
2025-02-26 11:17:53
澳洲华人感叹:已连败三场

澳洲华人感叹:已连败三场

澳洲红领巾
2025-06-22 14:18:44
打虎!于文明被查

打虎!于文明被查

鲁中晨报
2025-06-22 11:21:25
终于知道53岁的宁静为啥不结婚!不是没人馋她身子,而是太通透

终于知道53岁的宁静为啥不结婚!不是没人馋她身子,而是太通透

西楼知趣杂谈
2025-06-21 10:20:47
侵吞学生伙食费近350万元,湖南一中学总务处主任和采购员被判刑

侵吞学生伙食费近350万元,湖南一中学总务处主任和采购员被判刑

澎湃新闻
2025-06-22 19:30:28
成都22岁帅哥如厕困难,到肛肠科检查,医生叹息:男友是外国人?

成都22岁帅哥如厕困难,到肛肠科检查,医生叹息:男友是外国人?

温情邮局
2025-05-22 11:53:11
中方警告全球:不得配合!美媒直言:中国超越的“分水岭”已到

中方警告全球:不得配合!美媒直言:中国超越的“分水岭”已到

粤语音乐喷泉
2025-06-20 11:08:17
被前女友爆锤,“情歌王子”是“隐形海王”,还得了脏病?

被前女友爆锤,“情歌王子”是“隐形海王”,还得了脏病?

逍遥史记
2025-05-19 09:40:16
重磅转会难成,利物浦阿森纳挖不动,瑞典前锋今夏确定留纽卡斯尔

重磅转会难成,利物浦阿森纳挖不动,瑞典前锋今夏确定留纽卡斯尔

星耀国际足坛
2025-06-22 22:45:35
请停止为过去的地主资本家歌功颂德!这是何等荒谬,又是何等无知

请停止为过去的地主资本家歌功颂德!这是何等荒谬,又是何等无知

刚哥说法365
2025-06-21 15:33:24
若美国入侵中国,打败中国需要几个小时?DeepSeek给出精准分析

若美国入侵中国,打败中国需要几个小时?DeepSeek给出精准分析

涟漪读史
2025-02-11 15:02:45
杨颖的瓜,真的太大了,知情人曝内幕,捅了娱乐圈

杨颖的瓜,真的太大了,知情人曝内幕,捅了娱乐圈

番茄娱乐加
2025-06-20 06:53:08
印度坠毁客机有两个新消息,一个比一个离谱!

印度坠毁客机有两个新消息,一个比一个离谱!

阿龙聊军事
2025-06-22 16:08:55
哈梅内伊一声令下,伊朗导弹轰炸美国海军,将封锁霍尔木兹海峡?

哈梅内伊一声令下,伊朗导弹轰炸美国海军,将封锁霍尔木兹海峡?

近史博览
2025-06-22 13:02:49
2025-06-23 01:16:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
6867文章数 20671关注度
往期回顾 全部

科技要闻

"你应该靠嘴吃饭",罗永浩自述被梁文锋劝退

头条要闻

伊朗投入5万亿美元的核项目遭摧毁 哈梅内伊面临抉择

体育要闻

中国女排0-3意大利 香港站3胜1负收官

娱乐要闻

离婚四年!赵丽颖被曝新恋情惹争议

财经要闻

苹果后院起火

汽车要闻

首搭华为双王牌/6月24日预售 岚图FREE+正式下线

态度原创

旅游
健康
教育
房产
本地

旅游要闻

热闻|清明假期将至,热门目的地有哪些?

呼吸科专家破解呼吸道九大谣言!

教育要闻

2026qs排名完整名单公布后,申请难度会暴涨的几所英国大学!

房产要闻

坑惨2000多人!恒大财富海南高管被曝非吸12.6亿元!

本地新闻

被贵妃带火的“唐代顶流”,如今怎么不火了