贾扬清共一论文获ICML时间检验奖：著名框架Caffe前身

西风 发自 凹非寺
量子位 | 公众号 QbitAI

ICML 2024时间检验奖出炉，贾扬清共同一作论文获奖！

论文题为“DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition”，是贾扬清及其团队10年前在UC伯克利期间完成的工作。

ICML官方第一时间发推文表示祝贺，贾扬清回应道“深感荣幸DeCAF获ICML2024时间检验奖，这是人工智能发展惊人的十年”，并把其他作者艾特了个遍。

作者之一、现谷歌DeepMind副总裁、Gemini项目联合负责人Oriol Vinyals也开麦表示“非常感谢这个奖（让我感觉自己老了）”：

DeCAF是AlexNet的首个开源版本，我们通过它测试了这个卓越的ImageNet分类器学习到的特征是否能广泛应用于其他视觉任务。事实证明，这个想法在今天仍然与最好的多模态模型非常相关！

两位老搭档也在评论区叙上了旧：

ICML今年是其举办的第41届，投稿量9000+，接受率27.5%。除了时间检验奖，最佳论文奖也已出炉，Stable Diffusion 3论文等上榜。

获得时间检验奖的这篇论文，目前谷歌学术被引6012次：

先来看这篇论文都讲了什么。

著名框架Caffe的前身

这篇论文提出了一种名为DeCAF（Deep Convolutional Activation Feature）的深度卷积激活特征，用于解决通用视觉识别问题。

主要是探索了在ImageNet等大规模标记数据集上预训练的深度卷积神经网络，其中间层特征是否能够有效迁移到其他视觉任务中，即transfer learning的可行性。

作者采用了Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever2012年提出的AlexNet卷积神经网络架构，包含5个卷积层和3个全连接层。在ImageNet数据集上进行预训练后，冻结网络权重。

提取了不同层的激活作为特征，具体包括DeCAF5、DeCAF6和DeCAF7（最后一个隐藏层的激活）。并在新任务上仅训练简单的线性分类器，同时保持DeCAF特征不变。

为了验证这种方法的有效性，作者在多个标准计算机视觉基准测试上进行了实验，包括对象识别（Caltech-101）、域适应（Office数据集）、细粒度识别（Caltech-UCSD鸟类数据集）和场景识别（SUN-397）。

实验结果显示，DeCAF在所有这些任务上都取得了优秀的表现，常常超越当时的最佳方法。

使用t-SNE算法将高维特征映射到2D空间，展示了DeCAF特征在语义聚类方面优于GIST和LLC等传统特征。

即使在训练样本稀缺的情况下，如单样本学习，DeCAF仍然表现出色。论文还详细分析了网络各层的计算时间分布，发现全连接层占用了大部分计算时间。

此外，论文还探讨了dropout等正则化技术的影响，特别是在DeCAF6和DeCAF7层上的应用。

最终作者开源了DeCAF特征提取工具和预训练模型。

有网友看到这篇论文在十年后的今天获奖后，突然反应过来“这是不是Caffe的起源？”

贾扬清也做出了回复：

DeCAF的训练速度不够快（我们估计训练时间需要超过一个月），因此我们转而使用了Caffe。这就是为什么一个名字中含caffeine（咖啡因）成分为零而另一个有的原因——无论是人还是机器，含caffeine都运行得更快。

最佳论文奖

除时间检验奖，ICML 2024最佳论文奖也出炉了，今年获奖论文共有10篇。

其中包括Stable Diffusion 3论文“Scaling Rectified Flow Transformers for High-Resolution Image Synthesis”。

Pika联合创始人兼CTO Chenlin Meng参与的“Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution”这项工作也获奖了。

参考链接：
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796