人工神经网络学习拓扑学
了解神经网络如何学习仍然是机器学习研究的核心挑战之一。 从训练开始时的随机性开始,神经网络的权重以能够执行各种任务的方式发展,例如分类图像。在论文《Topology of Learning in Artificial Neural Networks》中,作者通过应用拓扑数据分析方法研究权重结构的出现。 他们在MNIST数据集上训练简单的前馈神经网络并监测权重的演变。当初始化为零时,权重遵循循环分支的轨迹,从而生成描述每层有效容量增长的树。当初始化为微小的随机值时,权重沿着二维表面平滑地演变。实验证明,这些学习表面上的自然坐标对应于重要的变异因素。