反无人机目标跟踪新基准与定制跟踪方案

作者：赵健，王刚，许廷发，黄博，李佳男

转载自：北京图像图形学学会

01  引言

随着科技的飞速发展，无人机（又称无人驾驶飞行器（UAV））在军事、物流、航拍等领域的应用越来越广泛，给人们的生活带来了极大的便利。然而，无人机的普及也对公共安全构成了潜在威胁。因此，设计反无人机系统对无人机的运行（包括其位置和轨迹）进行有效监控管理至关重要。

无人机目标体积小、周围环境复杂，定位和跟踪无人机仍然是一个具有挑战性的问题。现有的无人机跟踪数据集在目标大小和属性分布特征方面存在局限性，不能完全代表复杂的真实场景。

为了解决这个问题，本论文引入了一个通用的红外无人机跟踪数据集，称为Anti-UAV410。该数据集共包含410个热红外视频序列和超过438K个人工标注的目标边界框。

为了应对复杂环境下无人机跟踪的挑战，本论文提出了一种名为孪生无人机跟踪（Siamese drone tracker，SiamDT）的新方法。SiamDT 融合了双语义特征提取机制，可对动态背景杂波中的目标进行明确建模，从而实现对小型无人机的有效跟踪。

在Anti-UAV410数据集基准上进行的广泛实验证明，所提出的SiamDT方法具有更出色的跟踪性能。

02  Anti-UAV410基准数据集

Anti-UAV410侧重于还原真实场景中的反无人机跟踪问题，即远距离成像下的小型无人机物体跟踪。Anti-UAV410覆盖了野外的各种跟踪场景，如森林、高山、湖泊等，这些场景可能会引入过多的背景噪声，使跟踪器从背景区域学习。因此，Anti-UAV410给野外无人机跟踪带来了新的挑战，即微小目标和带杂波的动态背景，该数据集包括100多个微小无人机视频序列和77个带动态杂波背景的视频序列，为反无人机跟踪任务提供了更好的数据支持，同时也是训练和评估跟踪算法的综合平台。

2.1 数据收集

为了真实再现现实世界环境中反无人机跟踪所面临的挑战，Anti-UAV410收集了在各种复杂场景中拍摄了跟踪视频。这些场景包括两种不同的光照条件（白天和黑夜）、两个季节（秋天和冬天）以及各种背景，如建筑物（30%）、山脉（20%）、森林（5%）、城市地区（30%）、云层（10%）、水面（3%）等。采集的视频序列以每秒25帧的帧率记录中波红外光谱。从这些序列中，Anti-UAV410选择了100分钟的视频进行逐帧细致标注，总计超过15万帧。

2.2 数据集划分

Anti-UAV410数据集分为三个子集：训练集，200个视频序列；验证集，90个视频序列；测试集，120个视频序列。与以往的数据集不同，Anti-UAV410根据序列的属性将数据集细致地分为三组。训练集、测试集和验证集的属性分布如图1所示，三个子集在各个挑战属性上的比例较为均匀分布，此时使用训练集可以更好地学习无人机追踪在野外场景中面临的挑战。此外，训练集和验证集均来自同一序列的非重叠片段，而测试集则完全独立，确保了对跟踪器性能的严格评估。

图片

2.3 尺度分布

为了再现现实场景中的反无人机跟踪挑战，Anti-UAV410重点增加了小目标的视频序列的比例。与其他跟踪任务不同，在反无人机跟踪任务中，无人机目标的尺度通常小于70x70像素。

考虑到无人机的固有尺寸小，Anti-UAV410对小尺寸无人机目标的定义更为严格。Anti-UAV410将目标大小定义为边界框的对角线长度，设定微小目标和小型目标的尺寸分界线为10像素，将尺寸范围定义为4个区间：微小 [2,10)、小型[10,30)、正常[30,50)和大型[50,inf]。

与其他广泛使用的热红外数据集进行比较以分析了目标尺度的分布情况，比较结果表1所示。Anti-UAV410数据集具有较大比例的小目标，超过半数的目标尺寸小于50像素，甚至包括一定比例的微小目标（尺寸小于 10 像素）。

图片

2.4 挑战属性定义

为了全面评估跟踪器的性能，Anti-UAV410数据集对每个序列添加标注了六个挑战属性，即视野外（Out-of-View）、遮挡（Occlusion）、热交叉（Thermal Crossover）、快速运动（Fast Motion）、尺度变化（Scale Variation）和动态背景杂波（Dynamic Background Clutter）。

Anti-UAV410数据集包含大量热交叉挑战，由于无人机的运动特性，数据集中还包含了大量的快速运动挑战，使得跟踪任务更具挑战性。此外，Anti-UAV410 还涵盖了大量的动态背景杂波，小尺度和微小尺度目标，从而给跟踪器带来了严峻的挑战。

03  SiamDT跟踪器

为了解决在动态和模糊背景下跟踪微小无人机目标所面临的挑战，本文提出了一种名为“孪生无人机跟踪器”（Siamese Drone Tracker，SiamDT）的定制化多分支跟踪架构，如图2所示。

由于热红外图像中缺少颜色特征，传统的热红外跟踪方法通常利用轮廓等浅层特征来表示目标，这些特征具有很高的可解释性。然而，由于无人机通常体积较小，且在杂乱的环境中工作，这些浅层手工制作的特征不足以将无人机与具有相似视觉外观的背景干扰物准确区分开来。

为了弥补这些不足，SiamDT设计了一种新颖的双语义提取机制，以捕捉目标的语义显著性，这种语义显著性在搜索模板中具有区分性并易于定位。双语义提取机制由两个阶段的模块组成：

i) 双语义RPN子网络，通过构建一个孪生分支RPN结构来预测候选目标框，该RPN对目标区域和模板之间的相似度关系以及前景无人机物体存在的概率进行建模；

ii) 多功能R-CNN子网络，通过共享权重的R-CNN根据融合信息完善预测候选目标框。不同于传统的孪生跟踪器在训练过程中只学习模板和目标候选区域之间的匹配语义，SiamDT还学习无人机前景检测语义，以确定当前目标候选区域包含前景对象的概率。

在稳健特征表示的基础上，SiamDT进一步引入了第三个分支 iii) 背景干扰抑制，通过手工建立的库来存储高相似度的背景负样本，对这些样本加以抑制，从而增强跟踪器对动态背景干扰的分辨能力。

通过步骤i)和步骤ii)的共同作用，可以以更优越的方式获得具有明确小目标语义的归纳表示。因此，SiamDT能解决了在类真实场景中跟踪无人机的两大难题，即目标过小问题和背景干扰问题。

图片

04  实验结果

论文在Anti-UAV410数据集上进行了大量实验，评估的跟踪器包括PrDiMP、OSTrack、KeepTrack、SwinTrack和MixFormerV2等33种算法。评估实验中使用Anti-UAV410数据集训练和不训练两种模式。

4.1 不使用Anti-UAV410训练的比较实验

表2显示了在未使用Anti-UAV410训练集进行训练的情况下的原始跟踪性能结果，并按状态准确度（state accuracy）进行了排名。从该表中，可以得出以下结论：

1）使用较深网络进行特征提取的跟踪器，如Stark-ST101、SwinTrack-Base和SeqTrack-B384，并不一定优于使用较浅特征的跟踪器，如Stark-ST50、SwinTrack-Tiny和SeqTrack-B256；

2）采用全局检测方法的跟踪器（如Siam R-CNN和GlobalTrack）表现异常出色；

3）在RGB跟踪领域的先进跟踪器如 SwinTrack和MixFormerV2，在TIR视频中的反无人机跟踪任务中表现并不出色；

4）为TIR视频序列设计的跟踪器，如MMNet、MLSSNet和CMD-DiMP，在反无人机跟踪任务中表现不佳。

图片

4.2 使用Anti-UAV410训练的比较实验

为了验证提出的训练集在提高跟踪器UAV目标跟踪性能方面的有效性，本文使用Anti-UAV410 训练集对代表性的深度跟踪器进行了对比实验。所有重新训练的跟踪器都保留了默认设置和默认的预训练权重，实验结果如表3所示。

具体来说，表中左侧的数字表示使用作者提供的原始模型获得的结果，右侧的数字表示使用建议的训练集进行训练后的结果。加入Anti-UAV410训练集后，跟踪器在验证集和测试集上的性能都有了一定程度的提高。

值得注意的是，在Anti-UAV410数据集的帮助下，有六个跟踪器在Anti-UAV410测试集和验证集上的性能都提高超过10%。这表明了Anti-UAV410数据集在提高反无人机跟踪器性能方面的价值。

图片

4.3 属性评估实验

如图3所示，本文使用成功率和精确度图对不同跟踪器在不同属性方面的表现进行了综合评估。

选择了六个具有代表性的跟踪器进行比较，所有这些跟踪器都使用Anti-UAV410训练集进行了再次训练。

快速运动会模糊目标，遮挡或视线缺失会污染目标模型，如果不采取措施消除这些干扰，就会导致不可逆转的错误。SiamDT在这三个挑战中表现出色，与同类型跟踪器相比，性能有了很大提高。

在反无人机跟踪过程中，目标尺寸通常会发生变化，从图中可以看出，SiamDT跟踪器能更准确地估计无人机的尺度变化。

在动态背景杂波和热交叉属性下，SiamDT比基于 Swin Transformer 的先进跟踪器 SwinTrack 有明显优势，成功率超过12%，精度超过14%。

图片

4.4 定性评估实验

论文选择了一组具有代表性的跟踪场景，以直观地展示SiamDT跟踪方法的性能。

如图4所示，与其他跟踪器相比，SiamDT 在有效处理实际反无人机任务中经常遇到的具有挑战性的跟踪情况方面表现出了自己的优势。这凸显了该方法的实用性，在实际部署中具有巨大潜力。

图片

05  结论

Anti-UAV410热红外基准及其定制方案为跟踪无人机提供了全新的解决方案。

通过高灵敏度和抗干扰能力强的特点，反无人机跟踪在保护重要设施和隐私方面发挥重要作用，也有助于防止无人机干扰航空交通等重要活动。

随着无人机技术的不断发展，有理由相信Anti-UAV410热红外基准及其定制方案将在未来发挥更加重要的作用。