提到优化器,大多数人会想到 Adam。自 2015 年推出以来,Adam 一直是该领域的「王者」。但近日,波士顿大学的一位助理教授做出了一个假设,他认为 Adam 或许不是最佳的优化器,只是神经网络的训练使其成为了最佳。
我并不是在描述一个自然法则,而只是陈述社区倾向,而这一倾向可能影响了一些架构和优化器的共同演化;
我有证据可以支持这一假设。
提到优化器,大多数人会想到 Adam。自 2015 年推出以来,Adam 一直是该领域的「王者」。但近日,波士顿大学的一位助理教授做出了一个假设,他认为 Adam 或许不是最佳的优化器,只是神经网络的训练使其成为了最佳。
我并不是在描述一个自然法则,而只是陈述社区倾向,而这一倾向可能影响了一些架构和优化器的共同演化;
我有证据可以支持这一假设。