近日，CVPR 2023 Video Similarity Challenge 比赛圆满结束，微信视觉团队凭借出色的表现，成功获得该比赛双赛道冠军。
在比赛中，微信视觉团队以深厚的技术实力成功夺得了 Descriptor Track 和 Matching Track 两个赛道的冠军，并在 Matching Track 赛道提出了创新性的解决方案，比赛指标远超其他参赛者。目前，相关技术论文《A Dual-level Detection Method for Video Copy Detection》、《 A Similarity Alignment Model for Video Copy Segment Matching》已发布于论文预印本网站 arXiv。
Descriptor Track 最终榜单和 Matching Track 最终榜单微信视觉团队挑战 CVPR 2023 Video Similarity Challenge，成功斩获双赛道冠军
【资料图】
伴随着短视频平台的兴起，短视频搬运、抄袭等问题也日益严峻，视频原创保护意识和视频拷贝检测技术逐渐引起广泛关注与重视。为推动视频拷贝检测领域的不断进步， Meta AI 在 CVPR 2023 Workshop 上发起 Video Similarity Challenge。作为计算机视觉领域的全球顶会，CVPR 举办了许多比赛，每次比赛都吸引了众多国内外企业、科研机构的顶尖团队参与角逐，此次也不例外。其中，微信视觉团队也报名参加了此次比赛。
据了解，视频拷贝检测技术是用于检测一个视频是否拷贝了另外一个视频，包括完整拷贝、片段剪辑以及各种滤镜特效花边字幕等编辑对抗。其中，Descriptor Track 和 Matching Track 是视频拷贝检测工作中的两个重要的环节。基于此，本次比赛设立了 Descriptor Track 和 Matching Track 两个赛道。
在比赛中，微信视觉团队表现出色，以 0.8717 和 0.9153 的成绩成功揽下双赛道冠军。其中，在 Matching Track 赛道上，微信视觉团队提出了新的解决方案，得分也远超其他参赛者。
微信视觉团队推出新方案，已部署应用于视频号
据介绍，此次比赛难点在于不仅需要判断两个视频质检是否存在拷贝关系，还需要定位到两个视频拷贝片段具体位置。这里需要高性能的视频特征，用于在巨大视频库中召回拷贝视频。此处主要的挑战是源视频和拷贝视频通常存在大量编辑，而且拷贝时长，位置也是完全随机的。对于拷贝片段的实际匹配关系，则一直是业界的难点，特别是对于时长较短的拷贝片段非常难做到准备的定位。因此， Video Similarity Challenge 比赛将这个问题分为 Descriptor Track 和 Matching Track 两个赛道。
比赛中，微信视觉团队克服重重难点，成功登顶两个赛道榜单的榜首，并且在 Matching Track 赛道上，还研发出了一套更为精准、高效的解决方案。
在 Descriptor Track 赛道中，微信视觉团队经过数据分析后明确了任务难点，并基于此提出了一个两阶段检测方法来识别拷贝视频，该方法分为 Frame-Level Embedding、Video Editing Detection 和 Frame Scenes Detection 三个模块。在对 3 个模块进行深度训练学习后，最终在 uAP 指标上取得了 0.8717 的成绩，相比第 2 名的 0.8514 有明显提升。
在 Matching Track 赛道上，微信视觉团队提出的 Matching Track 解决方案由 Feature Extraction、Similar Segment Matching 和 Similar Segment Parsing 三部分组成。其中，Feature Extraction 基于 Descriptor Track 方案，负责视频帧级别 embedding 提取；Similar Segment Matching 则基于 query 视频和 reference 视频的帧级别 embedding 相似度矩阵为输入。首先，基于 MobileNet-V3 等分类器，从大量召回中筛选正样本，剔除大量简单负样本召回，减少 Matching 阶段计算开销。其次，使用 HRNet-w18 作为骨干网络，预测每帧的匹配关系。最后 Similar Segment Parsing 阶段，经过连通分量算法和 RANSAC 回归算法的后处理，得到源视频和 copy 视频的 copy 片段匹配关系。该方案在比赛评测数据上，uAP 指标达到了惊人的 0.9153，远超其他参赛者。
目前，微信视觉团队在 CVPR 2023 Video Similarity Challenge 比赛中的相关技术方案已在视频号落地使用。作为内容记录与创作平台，微信视频号始终尊重并维护每位权利人的知识成果，通过 " 首发内容保护机制 "、" 原创声明机制 "、线上 + 线下协同合作、电子侵权投诉系统、关联帐号打击等措施，优化用户体验，提升处理能效。未来，微信视觉团队也将不断加强在 Video Similarity（视频相似性）方面的技术积累，将先进技术落地应用至产品场景，持之以恒地打击短视频拷贝、直播录播盗播等黑灰产，竭力打造繁荣健康的原创内容生态。
雷峰网
标签：
