一、赛事背景
视频通过视觉和音频等传递丰富的信息。视频理解一直是学术界和工业界的热门研究课题。
融合多模态信息也是一个具有挑战性和有意义的研究课题。在本次竞赛当中，我们专注于从视频中提取字幕。字幕是文字来源于访谈节目或电视剧等类的视频。字幕是视频数据中最重要的文本信息之一，因为字幕包含人们交谈内容的信息。字幕识别广泛用于推荐、检索和视频理解系统。为了更好的促进字幕识别的发展，我们在ICPR 2022上举办多模态字幕识别竞赛，欢迎大家报名参赛。
二、 赛事流程
1. 注册报名： 2022.03.07 – 2022.05.07
2. 训练集公布： 2022.03.12
3. 开发阶段： 2022.03.12 – 2022.04.22
4. 评测阶段： 2022.04.22 – 2022.05.07
5. 验证集公布： 2022.04.22
6. 结果提交截止： 2022.05.07
7. 方法描述截止： 2022.05.12
8. 评测结果公布： 2022.05.13
三、 注册和提交方式
本次比赛的注册和提交均在CodaLab网站上进行，具体注册和提交细节请参考竞赛网站（icprmsr.github.io）。
四、 比赛内容
本次比赛分为三个赛道分别为：
1.使用音频模态标注的字幕信息在视觉模态中提取字幕
在这个任务中，只有音频提供的字幕信息。参赛者需设计一个字幕识别的OCR模型。参赛者可以使用自知业界开源开放数据集对OCR模型进行预训练，然后通过音频模态提供的字幕信息微调模型。提交的结果将在视觉模态的测试集上使用CER指标的结果进行排名。
2.使用视觉模态标注的字幕信息在音频模态中提取字幕
在这个任务中，只有视觉模态提供的字幕信息。参赛者需设计一个字幕识别的ASR模型。与任务一相同，参赛者可以使用指定开放数据集对ASR模型进行预训练，然后通过视觉模态提供的字幕信息微调模型。提交的结果将在音频模态的测试集上使用CER指标的结果进行排名。
3.使用视觉模态和音频模态标注的字幕信息提取视频中的字幕
在这个任务中，我们将提供音频模态和视觉模态标注的字幕信息。参赛者需利用这个两个模态的字幕信息设计一个字幕识别的模型。与任务一，二相同，参赛允许使用公开数据集进行预训练，然后对模型进行微调。提交结果将在同时具备视觉和音频模态的测试集上使用CER指标的结果进行排名。
五、组织方
主办方： 腾讯科技有限公司、华南理工大学、香港中文大学
数据支持方：数据堂
六、联系方式
比赛网站： https://icprmsr.github.io/
联系邮箱：lattehuang@tecent.com
