Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

ASQuery:基于Query的时序动作分割新架构

1. 前言

北京邮电大学与EVOL创新团队和ACG工业算法组针对时序动作分割任务共同提出了基于query新架构的模型ASQuery。ASQuery包含了动作及边界两种query,利用动作query将原先的帧维度分类过程转化为query与视频帧的相似度计算过程,提高了分类精度;利用边界query预测动作的边界,进一步平滑了原先的预测结果,大大缓解了过分割现象。论文ASQuery: A Query-based Model for Action Segmentation 已被ICME2024接收。论文地址:https://github.com/zlngan/ASQuery/blob/main/paper.pdf

2. 背景和动机

现有的时序动作分割模型通常将该任务建模为帧维度的分类问题,通用范式为先建模视频的时序信息,提取到具有较强表征能力的视频帧特征,然后使用分类器对每帧类别进行判断。在这种范式中,每个视频帧的最后预测结果严重依赖于分类器,但其权重在训练完毕即固定不变,因此在推理的时候缺乏灵活性。其次,当前方法通常存在过分割现象,为了缓解该现象,MS-TCN,ASFormer使用多层优化网络来平滑网络的预测结果,但是大大增加了模型的参数量与计算量;BCN,ASRF提出使用边界分支来优化模型预测,但是这些边界分支与分类分支是独立训练的,难以实现联合优化。这些问题导致模型的预测结果准确率低且平滑性差,严重影响了算法的实际应用。

图1 ASQuery与其它算法的框架对比

为了解决上述问题,我们提出了一种基于query的时序动作分割算法,称为ASQuery。相较于之前的算法,我们的算法将帧维度的分类问题转化为动作query与视频帧特征的相似度计算问题。每类动作的语义中心由一个query表征,并通过Transformer解码器模块进行动态更新,因此它们能够更加灵活且综合地感知整个视频的特征。对于过分割问题,我们提出边界query的概念,它与动作query一起训练进行联合优化。边界query通过与帧特征求相似度得到动作边界的分布,利用该边界可以进一步调整动作类别预测的结果,从而得到更加平滑的预测。

2. 方法

ASQuery的模型结构如图所示,它主要包含三个模块。首先是特征提取模块,它由一个backbone和neck组成,主要用于聚合与增强多层级视频特征;其次是Transformer解码器模块,用于更新动作及边界query;最后是分割模块,用于得到动作及边界分数,以及获得最终的预测结果。

特征提取模块的输入为经过预处理的视频特征,输出为多尺度增强的特征。构建Backbone时,ASQuery首先使用了几层浅层的卷积网络,起到聚合局部信息并稳定后续Transformer网络训练的作用。随后ASQuery使用了加窗形式的Transformer网络,每次自注意力计算仅对窗口内部的视频帧进行建模,并通过滑动窗口的方式覆盖所有的视频帧,以此实现时间感受野与计算效率的平衡。对于Neck网络,ASQuery采用最简单的1D特征金字塔网络来进一步增强特征。

Transformer解码器模块输入为随机初始化的动作、边界query以及多尺度视频特征,输出为更新后的动作与边界query。ASQuery使用标准的Transformer解码器,其包含若干层Transformer解码层,每层包含多个Transformer解码块。这些解码块与Neck的输出特征一一对应,解码块将动作和边界query作为Query,将视频特征作为Key和Value。每个解码块内部,包含了一层自注意力层与一层互注意力层。在自注意力层中,动作query与边界query进行交互,使得每个query都感知了所有动作类别及动作边界的语义信息,因此可以提升其表征能力。在互注意力层中,动作与边界query与所有视频帧特征进行交互,帮助其对整个视频的特征进行综合感知。训练后,解码器输出的动作及边界query能够有效表征动作类别及边界信息。

分割模块使用包含两层隐藏层的MLP将动作及边界query映射为对应embedding,随后通过将embedding与视频特征进行点积,并通过sigmoid函数将其变换至0-1区间,由此得到动作及边界分数。最后结合类别预测与边界预测结果得到最终分割结果。

损失函数分为两部分,第一部分为动作类别损失,包含了视频帧分类的focal loss以及动作mask的dice loss。第二部分为边界预测损失,使用的是二进制交叉熵损失。边界的标签为以动作边界帧为中心,呈高斯分布。

3. 实验结果

ASQuery在时序动作分割任务的常用数据集Breakfast和Assembly101上取得了SOTA的结果。ASQuery还通过消融实验验证了动作及边界query的有效性。

通过下图的可视化结果可以看到预测的边界对于平滑预测的有效性。

3. 总结

ASQuery提出基于Query架构的时序动作分割新架构,其提出的动作query可以实现更高精度的分类效果,边界query可以达到更好的预测平滑度。如何将query架构中的其它技术如匈牙利匹配等引入时序动作分割任务,进一步提升模型效果,是我们后面的探索方向。

作者介绍:

淦子良: 北京邮电大学博士研究生,研究方向为人体行为理解,发表了多篇SCI及EI论文。

金磊:北京邮电大学特聘副研究员,博士生导师,研究方向为人体感知理解、具身智能,现有工作聚焦于基于计算机视觉的人体姿态估计、人体解析、行为理解等,相关成果发表在CVPR/AAAI/ACMMM/TMM等CCF-A类和中科院一区期刊会议10余篇,主持一项国家自然基金青年基金,参与两项国家重点研发项目以及四项国家自然基金面上项目。多次依托国内及国际会议组织ICCV2021/CVPR2023/FG2024/PRCV2024研讨会。

赵健:中国电信人工智能研究院多媒体认知学习实验室(EVOL Lab)负责人、青年科学家,西北工业大学光电与智能研究院研究员、博导,博士毕业于新加坡国立大学,研究兴趣包括多媒体分析、临地安防、具身智能。

共发表CCF-A类论文50余篇,含一作T-PAMI×2(IF: 24.314)、IJCV×3(IF: 13.369),第一发明人授权国家发明专利5项。相关技术成果在百度、蚂蚁金服、奇虎360等6个科技行业领军企业得到应用,产生了显著效益。曾入选中国科协及北京市科协“青年人才托举工程”,主持国自然青年科学基金等项目6项。曾获吴文俊人工智能优秀青年奖(2023)、吴文俊人工智能自然科学奖一等奖(2/5,2022)、新加坡模式识别与机器智能协会(PREMIA)Lee Hwee Kuan奖、ACM Multimedia唯一最佳学生论文奖(一作,1/208,CCF-A类会议,2018),7次在国际重要科技赛事中夺冠。

担任北京图象图形学学会理事,国际知名期刊《Artificial Intelligence Advances》、《IET Computer Vision》编委,《Pattern Recognition Letters》、《Electronics》特刊客座编辑,VALSE资深领域主席,ACM Multimedia 2021分论坛主席,CICAI 2022/2023领域主席,CCBR 2024论坛主席,中国人工智能学会/中国图象图形学学会高级会员,“挑战杯”大学生科技作品竞赛评委,中国人工智能大赛专家委委员等。

GitHub主页:https://zhaoj9014.github.io

学院主页:https://iopen.nwpu.edu.cn/info/1252/4626.htm

理论
暂无评论
暂无评论~