软注意力机制

软注意力机制 (soft attention mechanism) 通过选择性地忽略部分信息来对其余信息进行重加权聚合计算，已在计算机视觉领域取得了广泛的应用和成功。现有的注意力模型主要是基于soft attention的，所有信息在被聚合之前会以自适应的方式进行重新加权。这样可以分离出重要信息，并避免这些信息受到不重要信息的干扰，从而提高准确性。随着不同信息之间相互作用的复杂度的降低，学习就变得越有效。