Multi-Graph Transformer, 用于识别手绘素描
近日,一篇新加坡南洋大学的研究论文引机器学习转发讨论,以下为论文概述:鉴于稀疏的表达和手绘素描草图的高级抽象,学习手绘素描草图中有意义的表达仍然是一项艰巨的任务。现有技术集中于通过卷积神经网络(CNN)利用草图的静态性质或通过递归神经网络(RNN)利用时间顺序属性。在这项工作中,我们提出了草图的新表示形式,即多个稀疏连接的图。我们设计了一种新颖的图神经网络(GNN),即 Multi-Graph Transformer(MGT),用于从多个图形中学习草图的表示,这些图形同时捕获全局和局部几何笔划结构以及时间信息。我们报告有关草图识别任务的大量数值实验,以证明所提出方法的性能。特别是,MGT 应用于 Google QuickDraw 的 414k 草图:(i)与基于 CNN 的性能上限相比,识别差距很小(分别为 72.80%和 74.22%),并且(ii)优于所有基于 RNN 的模型。据我们所知,这是提议将草图表示为图形的并应用 GNN 进行草图识别的第一项工作。