万万没想到,我的炼丹炉玩坏了

前记

众所周知,夕小瑶是个做的小可爱。

虽然懂点DL框架层知识,懂点CUDA和底层,但是我是做算法的哎,平时debug很少会遇到深度学习框架层的bug(上一次还是三年前被pytorch坑),更从没遇到过CUDA层甚至硬件层的bug。直到有一天....

这个bug彻底颠覆了我的debug思路,从这个bug开始,我再也不认为做算法的就做好算法就好了。


事故现场还原

当时的背景是这样的,我平时在一台8卡的GPU服务器上debug代码,这台服务器很少会把8卡全用满,毕竟这台机器只是用来debug代码而已,要跑那种好几天的8卡训练任务的话肯定就提交集群了,否则你如果占了全部8张卡,那自己和别人都没法debug了。

当时恰逢deadline扎堆,0-5卡都被其他蹭机器的小伙伴占了,只有6、7卡能用。于是我就用这两张卡来debug代码,训练和预测都是多卡并行,于是debug的时候这两张是同时用的。


结果把新的idea实现后,跑了一下,发现一个step都没有跑完就挂掉了,而且全部的报错信息就两个单词:

$ bash run.shsegmentation fault

???我写的都是python代码呀,我不是在做NLP么,怎么跑出来段错误segmentation fault了??众所周知,段错误是写C++代码时非常让人头疼的错误

随手一搜

果然,自己摊上大麻烦了╮(╯▽╰)╭

虽然,连挂掉时的代码出错位置都没有打印;虽然,炼丹以来第一次遇到这个报错。但!是!依然难不倒见过大风大浪的本宝宝的!

进一步加关键词限制来强行Google了一下,发现可能的错误原因依然太多了,各种类型的代码里都可能遇到。算了算了,这次就不Google oriented debug了,是时候展示真正的技术了!

首先,先看看是计算图compiled之前还是过程中还是runtime挂的。

【此处省略一顿怒插数十断点的操作】

于是一路debug发现计算图可以顺利建立,但是在深度学习框架完成计算图编译,开始runtime计算的时候,就挂了。emmmm,这说明。。。

果然是最糟糕的情况哇!

基于静态图的DL框架就怕在runtime出问题,很多小伙伴可能不清楚runtime该怎么debug,于是纷纷觉得pytorch真香。其实对于绝大部分错误,静态图还是蛮好debug的,秘诀也很简单,那就是往图里插入debug op。

像tensorflow、paddlepaddle这种支持静态图的深度学习框架,都是有大量debug op的,最常用的就是print op(tensorflow中的tf.Print/tf.print,paddle中的layers.Print),它可以在计算图的任意位置打印出运行到此位置时的任意Variable/Tensor的runtime值,当然也可以搭配shape op(TF中的tf.shape,paddle中的layers.shape)打印出Tensor的runtime形状等信息。除了print op外,还有assert opis op等保证运行正确性、辅助debug的op,也就是说,python中常用来debug的一些关键字和函数调用,其实成熟的静态图框架里基本都能找到对应的op。熟悉了映射关系后,静态图debug起来也不会太费力。

但!是!有两种情况依然比较头疼,一种是计算图已经完全建立了,但是第一个op还没有跑到的时候就挂了(这时候插入的debug op完全没被run到);还有一种是前向正确的跑完了,但是计算梯度的时候挂掉了(这时候错误可能发生在整张图的任意位置,甚至不在图里)。当它们再叠加上多机多卡问题时,就是最惨的情况。

不幸的是,我遇到了(。 ́︿ ̀。)

首先,如前所述,本宝宝很淡定的在计算图里插入了一堆Print结点,然后发现前向计算结果貌似非常正确,轻松的定位到错误发生在runtime计算反向梯度的时候,也就是

optimizer.optimize()

算了算了,也不是第一次挂在这儿,报错信息似乎也提供不了太多指导(报错信息里有一些路径类信息,比较敏感就不贴出来了)。再多插入几个debug op来验证前向路径的正确性

【此处省略另一顿插op的操作】

结果,万万没想到,插入debug op之后,竟然第一个step跑完了,这次挂在了第二个step!

debug op还有强行续命的功效???

我!不!信!于是把debug op又都注释掉了,重新run!

结果,

又挂在了第一个step!!!

我当时狠掐了自己一把,这特喵的一定是在做一个很荒唐的梦!

令我没想到的是,现实果然比梦境更荒唐。我又重复的run了好多好多次,发现没有插入debug op的时候确实永远是第一个step就会挂掉。于是我把这个震惊的现象告诉了大家,然后果然,大家都觉得我疯了。

小夕:”你们都过来!我来亲自演示一遍!“

小夕:”你们看!没有插入debug op的时候,第一个step就报了segment fault的错误叭~“

大家:”哦“

小夕:”然后看好哦,我把这里的debug op都插上,然后,run!“

诶诶诶???怎么还是第一个step就挂了,被疯狂打脸(´Д` )

大家:小夕你要是累了就先去睡会儿,别太累了,大家散了散了╮(╯▽╰)╭

嘤嘤嘤怎么会(。 ́︿ ̀。)

算了算了,不纠结这个了。回到debug本身,emmm,话说前向能正常跑完,永远都是挂在反向阶段,那么说明要么前向哪里埋了一个坑暂时被强行计算了,但是这个节点处的梯度其实是无法计算的;要么可能是优化器本身就有bug。

于是先扫了一遍代码,确实没有使用也没有cast很奇怪的数据类型,也没有使用一些很奇怪的op,基本可以排除前一种情况。那应该就是后一种了!而优化器用的其实就是adam,没什么改动,那问题就肯定出在自己新加的多卡梯度合并这块了!

于是果断的在6卡上跑了一下单卡的代码,果然正常训练!我真是福尔摩夕呀,马上就要揪出bug真凶了好激动。

继续!回去check了一下多卡逻辑,燃鹅似乎。。没问题鸭?天呐,难不成这回要去框架源码里插断点了?

看来,我只能祭出我的杀手锏了,那就是

滚!去!写!demo!

由于代码逻辑有点复杂,并且会在多卡梯度合并的时候要进行一些额外的处理,当时觉得应该还是代码哪里写的有问题,于是决定先开ipython写个多卡计算的小demo。

【此处省略一个demo】

嗯,前向计算顺利通过,符合预期。好,加大难度,引入梯度合并。

结果,

又又又segmentation fault 了!!!我还没引入我的idea呢,直接就挂了。

不对哇!!这不就是多卡训练的标准玩法么,难道最新版的框架有bug???天呐我发现了这么大的一个bug!于是卸掉重装了一个旧版的非常稳定的包,重新跑这个demo代码

结果,又又又又 segmentation fault 了!!!

不会吧。。。又check了一下环境,确保CPU、内存、磁盘、GPU及其显存都是够用的,CUDA、CUDNN、NCCL也没问题(自带的tool都能check过)。难不成是python的锅?不至于吧,我也太多疑了。。。

这时我出现了一个大胆的想法。

难不成这两张显卡里,有一张是坏的??

前面测试CUDA时刚在GPU6上跑了一把,发现好好的。那么。。。GPU7!狼人肯定是你了!!

于是又去GPU7上跑,满心等着它挂掉,结果。。

训练一切正常

强迫自己冷静了一下。我是不是太多疑了,竟然都怀疑到硬件身上了。但是,基本的运行环境都check过了鸭,如果不是硬件,也不是python和框架的问题,那难不成。。。是中间的glibc的问题???联想到segment fault这个报错信息,更加确信了!glibc就是狼人,这次跑不掉了!

然而众所周知,glibc这种级别的库,是非常底层的,一旦改坏了,会导致ls、cd这种级别的命令都挂掉。我看了一眼GPU0-5卡上跑的好好的别人的任务,再次陷入了迷茫。。。


【此处省略长达数十分钟的卡顿】

嗯,先低调一些,先把demo放到一个崭新的环境中跑下!于是把demo放到另一台机器上跑了一下,果然,多卡也是能正常跑的。莫非真是glibc?但是为什么别人的任务没问题呢。似乎一切现象都在导向最后一种可能


GPU6到GPU7的底层通信链路出故障了!

于是我耐心的等着其他小伙伴的任务跑完,重新测试!

GPU5+GPU6:训练正常

GPU5+GPU7:训练失败

GPU0+GPU1+GPU2+GPU3+GPU4+GPU5+GPU6:训练正常

GPU0+GPU1+GPU2+GPU3+GPU4+GPU5+GPU6+GPU7:训练失败

实锤!!!激动万分的跑去找管机器的小哥哥了,语无伦次的给解释了大半天。终于,小哥哥将信将疑的安排人去进一步测试了一下

焦急的等了若干天。。。

小哥哥:“是的,GPU7坏掉了,无法与其他卡通信,更换GPU7后测试正常“

听到这个消息后,小夕非常激动的重新测了一遍各种跟GPU7的排列组合,成功!!


后记

这时候我突然想起来之前那个见鬼的插debug op会导致多跑一个step的现象,而且仅出现了一次,于是跑去问小哥哥,小哥哥悠悠的说

“那大概就叫做回光返照吧,GPU7尽力了“

夕小瑶的科技屋
夕小瑶的科技屋

同步自微信订阅号“夕小瑶的卖萌屋”和知乎专栏“夕小瑶的科技屋”(作者知乎ID:夕小瑶)

工程glibcGPU7NLP
2
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

优化器技术

优化器基类提供了计算梯度loss的方法,并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法,如梯度下降和Adagrad。 优化器是提供了一个可以使用各种优化算法的接口,可以让用户直接调用一些经典的优化算法,如梯度下降法等等。优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer(tensorflow下的优化器包)等等这些算法。

联想机构

联想集团是1984年中国科学院计算技术研究所投资20万元人民币,由11名科技人员创办,是中国的一家在信息产业内多元化发展的大型企业集团,和富有创新性的国际化的科技公司。 从1996年开始,联想电脑销量一直位居中国国内市场首位;2005年,联想集团收购IBM PC(Personal computer,个人电脑)事业部;2013年,联想电脑销售量升居世界第一,成为全球最大的PC生产厂商。2014年10月,联想集团宣布了该公司已经完成对摩托罗拉移动的收购。 作为全球电脑市场的领导企业,联想从事开发、制造并销售可靠的、安全易用的技术产品及优质专业的服务,帮助全球客户和合作伙伴取得成功。联想公司主要生产台式电脑、服务器、笔记本电脑、智能电视、打印机、掌上电脑、主板、手机、一体机电脑等商品。 自2014年4月1日起, 联想集团成立了四个新的、相对独立的业务集团,分别是PC业务集团、移动业务集团、企业级业务集团、云服务业务集团。2016年8月,全国工商联发布“2016中国民营企业500强”榜单,联想名列第四。 2018年12月,世界品牌实验室编制的《2018世界品牌500强》揭晓,排名第102。

暂无评论
暂无评论~