MXNet专栏 | 李沐:深度学习·炼丹入门

几日前,机器之心经授权发表了李沐在知乎上回答的为什么 MXNet 不火的一篇文章。最近,他又写了一篇关于深度学习入门的文章,用诙谐的语言(对比炼丹)讲解深度学习。此外,在本文中李沐也提到自己现在到了亚马逊,要大力发展 MXNet 了,这是不是意味着几大深度学习框架的格局再起变化呢?

作者:李沐
链接:https://zhuanlan.zhihu.com/p/23781756 
来源:知乎


所谓炼丹,就是将大量灵材使用丹炉将其凝炼成丹。练成的灵丹蕴含灵材的大部分特性,方便携带,容易吸收。高级仙丹在炼制中更是能吸收天地灵气从而引发天地异象。


深度学习的模型训练就是炼丹。把精选原始数据,按照神经网络的规定法则通过计算框架提炼,从而得到一个远小于数据数倍的模型。一个好的模型不仅能抓取数据中的模式,更是能提取更加一般化规则从而可以用来预测新的数据。

虽然有人会指出机器学习的模型训练也是一个类似的过程,但深度学习丹师对此是不屑的,他们认为训练“浅”模型的人最多算是老中医。因为经过了多年探索,传统机器学习模型已经解析得比较透彻,有着完整的一套理论,原材料种类趋向于固定,药方相对简单,对药罐要求也不高。

但深度学习更加神奇。灵材各式各样,可以自由组合。单方也是千奇百怪,比中药方复杂数百倍。对丹炉要求苛刻,而炼制手法更是各种出其不意。整个一套流程并没有太多理论可依循,主要是靠炼丹者对天地灵气和规则的感悟。

随着一颗一颗各式灵丹的练出,整个修仙界已经为此疯狂。本文简要的介绍深度学习炼丹的方方面面,并对丹界新人的修仙之路提供几点微小的建议。

炼丹简史

炼丹这一门在修真界存在已久。上次辉煌发生在上世纪80,90年代。笔者本科导师曾回忆,他参加过一次鼎盛时期的炼丹大会,场地在海边一字排开,连绵几百米。那次会有数万人参加。但现在连名字大家都不怎么记得了。

炼丹门的上一次衰退有多个原因。一个是kernel派的入侵,他们凭着一招无穷升维打得炼丹门措手不急。一方面上手容易,修炼不需要感受天地元气,另一方面又有一套从史前数学界偷来的泛函心法,老少皆宜。接踵而来的都是统计学习流,凸优化流,图模型流,他们凭着从数学界那里搬来的各式外门功夫迅速占领了修真界。

炼丹门因为入门困难,操作复杂,于是人员凋落,门内坚守最后的几大长老纷纷躲在极寒之地加拿大过冬。那段时期大家只要一听到“炼丹”纷纷脸色一变绕道而行。

但数年前,炼丹门大长老的得意弟子凭借一张AlexNet丹方在修仙界大擂台Imagenet竞赛上一举夺魁。随后炼丹界突破不断,全民炼丹拉开了帷幕。

炼丹门的复苏离不开方方面面的改进。下面列举主要的几个。

灵材

整个修真界都是围绕着灵材展开,这是修仙最基本素材。一份炼丹灵材通常不止有多类灵材,例如MNIST有10类,ImageNet则有上千类。每类中通常有数个同类但各式属性稍有不同的个体。高端的丹药可能需要多种差异颇大的灵材,例如混合灵草和妖兽。

判断一份灵材的好快通常可以通过种类的多样性和数量来衡量。种类越多,练成灵丹的效用就越广。种类个体越多,灵丹对此对其灵性吸收就越好。一份上好的灵材是炼丹成功的必备。

目前修真界流程的各样灵材,例如历史悠久的MNIST和近些年颇受关注的ImageNet。丹师通常可以免费或者花费很小代价获取这些灵材。

但炼制独树一格的丹药通常需要有独一无二的灵材。有钱世家会花钱收集此类灵材,或者自家种植然后请人打理。但修真仙门通常更重视内功心法,或者觉得亲自动手也是一种锻炼,于是一般要求自己弟子动手准备灵材。主要从事这内工作的通常叫药童。很多丹师是从药童做起。

丹方

丹方里最重要的是灵阵。灵阵控制如何抽取和凝结灵材中的灵性。灵阵中有若干节点,然后通过回路连接这些节点。灵材沿着回路在每个节点处进行一步一步的提纯。

根据灵材的不同,灵阵也会不一样。例如卷积类灵阵适合具有空间属性的灵材,而Recurrent类则适合炼制时间类属性灵材。如何设计灵阵并没有太多套路可以依循,这个主要是取决于丹师对灵材和天地规则的感悟。对于后者,一个常用的领悟对象是灵长类动物的大脑。不过即使修仙界孜孜不倦的研究了半个世纪,但进展并不是很迅速。

真火

凝丹需要借助真火。真火的强度决定了炼制的速度,所以丹师通常渴望最好的真火。真火的生产被几大世家控制,其中目前最为流行的是被称之为“核弹厂”的世家。他家真火专门为炼丹定制,数倍强劲于普通修真真火。所以每年的升级都导致丹师蜂拥而至一抢而空。其世家行情上周就长了三成。其他老牌真火世家也最近开始考虑生成炼丹专用真火。

口袋富余的丹师会选择自己购入真火,虽然购买和维护费用均不低。更多丹师是借用世家或者仙门内公共的真火,由此也经常引发争夺以至于大打出手。

修真界也有专门出售真火的组织,丹师花费一定灵石可以租到各式真火。目前最大一家AWS提供核弹厂真火,行情也颇为火爆。另外几家也已经或者马上会提供类似的服务。

丹炉

很少有丹师会直接使用真火,他们通常使用丹炉来简化炼制过程。丹炉形态不一,但大致流程都是先将炉放置真火上,然后加入单方和灵材。丹炉会自动借用真火之力将灵材不断牵引在灵阵中游走进而凝丹。

一个好的丹炉使用简单,能够装入大量灵材,而且能有效的使用真火。通常一股真火力量有限,需要集合多股真火之力。更高端的可以使用多个丹炉同时开火炼制一枚灵丹。

目前市面上流行数个丹炉。根据某知名造丹炉师的排名,第一的是第一世家的当家丹炉,使用说明详细,一推出后广受欢迎。排第二的是数年前贾教主在出山门前闭关打造,稳定可靠。笔者也参与一款丹炉的炼制过程,目前徘徊在第三第四。特点是新潮,高效,可定制化高,而且是集合顶尖仙门和世家数十丹师打造。笔者自认为此丹炉未来发展空间宽阔,推荐大家关注。

炼制

在具体的炼制过程中,丹炉每次将一些灵材放入灵阵,利用真火让其在灵阵中游走一个来回,将提炼出来的丝缕灵气置于灵丹中。这个过程可能会持续数百万次直至成丹。

虽然经过多年发展,丹炉自动可以完成主要炼制过程,但也经常需要丹师参与。丹师可以控制每次运转的时候将多少灵气压入灵丹。比例太少会导致成丹过慢,比例太大可能会导致爆丹,极端情况下甚至会爆炉。所以炼制过程中丹师一般守在丹炉边,根据当时状态做仔细调节。但即使丹成,也有可能质量不佳,这时候可能需要对灵材和丹方做一些改进,然后重新来过。

根据灵材多少,丹方的复杂度,和真火丹炉的质量,这个过程可能持续数小时到数天不等。单师在不断的炼制过程获取经验从而成长。

修炼之路

丹师的修炼之路需要大量的资源,特别是跟主修内功流的诸多流派相比。但同时丹师回报率高,因为一枚成色十足仙丹通常可以卖到很好的价格。各个世家对于优秀的丹师也是欢迎至极,待遇颇丰。

笔者根据自己的观察和经验,试图总结一下常见的修炼过程:

  1. 初级:熟悉常见灵材和丹方,上手一款丹炉炼制入门灵丹。经过大量练习初级丹师可以晋级中级。

  2. 中级:能够炼制市面上顶级灵丹。通常需要有效掌握丹炉的高级用法,拥有或能借来高级真火。熟悉炼制过程各个细节,能根据现场状况做一些调节来控制成丹质量。对于一份新灵材也能够炼制出成色不错的灵丹。参加炼丹大会并得到不错的名次。中级丹师可以满足大部分世家的要求,从而衣食无愁。

  3. 高级。高级丹师可以主持一方,而且至少在某一方向上修炼到极致:

    1. 灵材:能够大规模培育高质量灵材,或者发掘新的未知灵材

    2. 丹方:能够感应灵材和天地法则极大改进现有丹方,或者发明新丹方

    3. 丹炉:熟悉丹炉细节,能够有效改进丹炉,甚至是打造更好的丹炉

    4. 炼制:能够调集大量灵材和真火,并在短时间内炼制高质量灵丹

但炼丹跟修真界其他流派一样,光靠正常打怪练级很难成就巅峰。丹师需要追求自己独特的机遇,道路,和体悟,并且不断最求更高。

这才是重点

如前所述,笔者和小伙伴这些年致力打造丹炉,其名为MXNet。经过几年努力目前颇具规模,现诚邀各位中级高级丹师加入。在这里可以各位可以学习和参与炼丹最前线,借助大量资源和大家的帮助快速积累经验。各位可以选择加入坐落在炼丹重镇硅谷背靠斯坦福的AWS,或者京城的各个炼丹大世家。

有兴趣的小伙伴请发简历到 mli@amazon.com

入门深度学习MXNet入门李沐