Zexian Li

弱监督动作检测论文阅读

2020-12-10 · 2 min read
TAD

弱监督简介

不完全监督:一部分数据有标签,一部分数据无标签。
可采用主动学习方法来解决,此方法需要人为干预。即先训练有标注数据,然后根据经验对无标注数据进行聚类,在无标注数据中,选择最有价值/最具代表性的实例进行查询。主动学习的目标是最小化查询数量。
可采用半监督学习方法来解决,此方法不需要查询人类专家。在学习完有标注数据后,通过参考整体未标注数据的分布来预测无标注数据类别。
不确切监督:只有粗粒度/高层级标签。
常采用多实例学习,即假设每个正包至少存在一个关键实例。通过对包和包所包含的多个实例进行分析、预测从而得到包的标签。
不精确监督:给出的标签不总是正确的。
常采用带噪学习,即识别潜在的误分类样本,然后尝试修正。

弱监督动作检测简介

弱监督动作检测仅有视频的动作类别标签,而无时间标注,而需完成的任务仍是定位动作的起止时刻并分类。

实现思路

  1. top-down
    先学习video-level的动作分类器,随后具有较高分类动机(temporal classification activation map)的帧被认为是动作帧。

  2. bottom-up
    先得到每一帧的attention结果λt\lambda_{t}(λt[0,1])(\lambda_{t} \in [0, 1]),代表该帧属于一个动作片段的可能性;再使用经过attention加权的特征训练视频级别的分类网络;最后将高attention得分帧视为动作帧。
    该类方法的侧重点在于attention网络挑选关键帧的准确性。

Bad decisions make good stories.