TOPICTrack让多目标跟踪误差骤降，BEE24数据集同步开源

始智AI wisemodel.cn开源社区

始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。正在，欢迎加入共同成长。wisemodel社区上线，H800/H20等资源上线，价格实惠，灵活方便，支持在线微调训练模型，及和，并。

视频数据和算法的进步推动了多目标跟踪（MOT）领域的发展。现有的MOT数据集主要关注遮挡和外观相似性问题，而复杂的运动模式虽广泛存在，却常被忽视。

为了解决这一问题，一个新的数据集BEE24突出展示了复杂的运动场景，要求跟踪多个外观相似且运动复杂的小蜜蜂，并且这些物体的运动持续时间较长 ，这十分贴近实际需求（如蜜蜂养殖和无人机群体监控）。

身份关联算法一直是MOT研究的核心。现有的跟踪算法大致可以分为两类：单特征范式（基于运动或外观特征）和串行范式（通过将一种特征作为主特征，另一种作为辅特征）。

然而，这些传统范式无法充分利用不同特征之间的互补性。本文提出一种全新的并行范式，并介绍了双轮并行匹配方法TOPIC。TOPIC能结合运动和外观特征，并根据运动复杂度自适应选择最合适的特征作为匹配度量。

此外，研究团队还设计了一个基于注意力机制的外观重建模块AARM，该模块能够重构外观特征嵌入，从而增强外观特征的表示能力。

综合实验结果表明，该方法在四个公开数据集以及BEE24上均取得领先性能表现。值得注意的是，此并行范式大幅超越现有的关联范式。例如，与单特征关联范式相比，该方法能将错误负例减少6%至81%。 目前TOPIC、BEE24均 已上线始智AI-wisemodel开源社区，欢迎使用。

代码和数据集地址

https://wisemodel.cn/codes/holmescao/TOPICTrack

https://wisemodel.cn/datasets/holmescao/BEE24

01.

效果展示

02.

背景与动机

多目标跟踪（MOT）是计算机视觉领域的重要子领域，广泛应用于机器人导航、智能监控和人机交互等多个领域。在MOT任务中，研究者们需要从视频帧中检测出感兴趣物体的位置，并将其身份跨帧关联起来。随着技术的不断进步，数据集的构建与算法优化成为推动多目标跟踪系统性能提升的关键。

2.1 数据集的局限性与突破

在现有的MOT数据集中，研究者通常采用两种主要的方式来应对不同场景的挑战：一是通过扩展场景多样性或物体类别，如GMOT-40数据集；二是关注特定挑战，如遮挡（如MOT17、MOT20数据集）或高相似度的外观（如DanceTrack数据集）。

然而，这些数据集中的运动模式相对简单，多数物体的运动模式类似，且缺乏足够的变化性，这在实际应用中可能无法有效应对复杂的运动场景。例如，蜂群在蜂箱周围运动时，不仅会在飞行、爬行等多种模式之间频繁切换，而且其运动速度呈现出明显的非线性变化，如图2。

为了应对这种复杂运动的跟踪问题，我们提出了一个全新的数据集——BEE24，专注于展示复杂的运动模式。BEE24在两个关键方面丰富了数据特性：一是不同物体在同一帧内的运动差异，二是物体在帧间运动的显著变化。

许多现有的跟踪算法自2016年DeepSORT以来，都遵循了串行关联范式。该范式利用某一特征（如外观特征或运动特征）初步筛选候选匹配，再利用另一特征进行主匹配，如图3b。

然而，这种方法未能充分利用不同特征的优势，且筛选过程可能导致跟踪的遗漏（即假阴性）。最近的研究如ByteTrack和OC-SORT采用了基于单一特征的关联范式(如图3a)，单纯依赖运动特征。

这种方法在某些数据集上的表现优于基于两个特征的串行范式，但由于检测器的差异，这些比较未必公平。

根据对不同特征表现的分析，低速场景下，如MOT17和DanceTrack），运动较简单，运动特征更有效；在高速场景（如BEE24和GMOT-40），复杂的非线性运动使得基于运动特征的模型面临挑战，这时外观特征的表现更佳。

考虑到上述不同特征在不同场景中的优势，直观的想法是将更多特征结合使用，从而提升性能。为此，我们提出了一个新的并行关联范式，并设计了TOPIC（Two rOund Parallel matchIng meChanism）方法来实现这一范式。

TOPIC能够同时使用运动和外观特征作为匹配度量，并根据运动复杂度自适应选择最优特征，从而减少假阴性（FN）的出现。与传统的串行匹配范式相比，这种并行范式能够更有效地利用不同特征之间的互补性。

此外，我们还提出了一个基于注意力机制的外观重建模块（AARM），用于增强物体的外观特征表示，提高物体在多帧间的区分度。

03.

BEE24数据集简介

如表1所示，与现有的MOT数据集相比，BEE24在多个方面具有显著的优势和挑战：

复杂的运动模式：BEE24数据集的运动模式更加复杂，物体在同一帧内的运动差异较大（MMSAO），且单个物体的运动随时间变化大（MMSO）。这与许多现有数据集中的线性或低速运动形成鲜明对比，如图2和4。

小物体跟踪：BEE24中的蜜蜂是最小的目标之一，平均物体面积远小于GMOT-40等数据集中的物体，这增加了跟踪算法在小物体检测和跟踪方面的挑战。

大规模标注：数据集包含总计446,908个标注，最大视频时长达到200秒，单视频的标注数量和最大时长均超过了大部分现有数据集，尤其是在高密度场景下的跟踪任务中，BEE24为算法提供了更多挑战。

04.

算法简介

4.1 并行匹配范式：TOPIC方法

TOPIC的核心思想是同时利用运动特征和外观特征进行匹配，并通过两轮匹配机制解决可能的匹配冲突。在第一轮匹配中，通过匈牙利算法分别计算基于外观和基于运动的匹配结果。

然后，对于冲突的匹配，TOPIC根据运动水平自适应地选择更可靠的特征进行最终匹配。这一机制有效减少了假阴性（FN），提高了整体的跟踪准确性。如算法1的伪代码所示。

AARM采用基于余弦距离的注意力机制，通过计算历史轨迹和当前检测的相似性来增强外观特征的表示。通过这种方式，AARM能够改善同一物体在不同帧间的相似度，同时增强不同物体之间的区分度。

AARM的工作原理是，首先为每个目标计算出跨帧的注意力图，然后通过残差机制对外观特征进行重建，从而提升相同物体的相似性，并减少不同物体之间的混淆，如图5所示。此外，该模块无需训练且即插即用。

05.

主要实验结果

为了验证提出方法有效性和优越性，我们在MOT17、MOT20、DanceTrack、GMOT-40和BEE24共5个数据集和多个主流跟踪算法（如FairMOT、ByteTrack等）上进行了详尽的实验，主要的实验结果如下。

5.1 TOPIC的有效性

与其他关联范式相比，我们提出的TOPIC在5个数据集中的大多数关键指标上实现了1%以上的精度提升，如表2。通过可视化TOPIC的匹配机制（见图6），我们展示了其如何在不同的运动水平下，自适应地切换外观和运动特征，显著提升了复杂场景中的跟踪效果。

在对比实验中，我们发现AARM在不同跟踪器中均能够一致地显著提高跟踪性能，并能即插即用（见表2）。我们进一步揭示了AARM的在目标外观表征的能力，它在所有5个数据集上实现了最小的类间相似度（InterCS）和最高的类内相似度（IntraCS），降低了数据关联的难度，如图7。

如图8所示，尽管引入Re-ID模块会略微增加计算时间，但其对跟踪精度的提升是显著的。特别是在运动复杂的场景中，TOPICTrack能够以更高的精度和较低的计算开销达到最佳的跟踪效果。

通过在5个数据集上的对比，TOPICTrack在多个关键指标上超越了主流算法，达到了新SOTA（见表3-7）。通过分析不同数据集的目标特性，我们发现TOPICTrack在处理复杂运动、遮挡以及外观相似度高的目标时，表现尤为突出。

06.

总结与展望

在数据集特性扩展方面，本文提出一种新的MOT数据集BEE24，该数据集挑战模型跟踪多个相似外观的小物体，且物体运动复杂、持续时间长。

BEE24有助于推动MOT技术在现实场景中的应用与发展。在算法优化方面，我们提出了一种新的并行关联范式——TOPIC，能够根据物体的运动水平自适应选择外观或运动特征进行关联。

同时，研究团队提出AARM，增强了跟踪器对物体外观的表示能力，并且能够即插即用。大量实验验证了我们提出的跟踪器在五个数据集上的有效性和优越性。

本文未对目标检测模型（采用YOLOX）和运动模型（采用OC-SORT）进行改进。因此，未来可以考虑进一步优化检测模型和运动模型，以提升跟踪性能。

作者：北京大学博士生曹小䶮为该论文的第一作者，厦门大学郭诗辉教授为通讯作者。泉州信息工程学院讲师郑义姚、清华大学姚瑶博士为论文共同一作。

----- END -----

wisemodel相关：

系统升级：

系列模型：

关于wisemodel更多

1

欢迎持续关注和支持

开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态。

2

欢迎加盟wisemodel开源社区

始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn

3

欢迎投稿优质内容

欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。

4

关于wisemodel开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。

向上滑动查看