机器之心编辑部作者

机器学习应用行业浮躁、产品差?身为工程师的你是否想转行

十几个小时前,一位机器学习工程师在 reddit 上发帖求助:ML 领域浮躁、门槛低、产品差,无法专心做东西,该不该换个领域?帖子一经发布,立刻引起了大量讨论。

该工程师如此描述他的问题:

在目前机器学习深度学习炒作的背景下,大家对从事机器学习方面的工作(业界或学界)有何建议?

我在一家大型非技术公司做应用研究工程师。但最近几年 ML 在我心中逐渐失去了光芒——围绕着它的炒作给这个领域带来了大量噪音,对于真正关心科学的人来说这种状况太糟了。

我认为自己严谨应用机器学习的努力被浪费了,这让我的竞争力也变弱:管理层想要「深度学习」解决方案,当有人读了一篇博客、抛出一些不完备的训练数据和 Keras model.fit() 后,就声称问题解决了,可他们竟然很满意。我认为在这样的环境中我没法做机器学习,并且我们很难对抗深度学习「廉价、简单」这样的炒作(讽刺的是,简单的随机森林更简单而且效果也很好,但那不「性感」。我就曾遇到过明明用其它方法更简单有效,但非要用神经网络的情况)。我热爱机器学习,也希望看到大家都学习机器学习,但是低门槛导致将不好的模型卖给外行人的行为增加。

你们享受自己的机器学习生涯吗?我在考虑转行回到软件工程行业,或者换一家公司。可能我太暴躁或太追求完美了吧……有人有类似的想法吗?

(背景:计算机科学硕士学位,研究重点:机器学习。毕业后从事应用研究职位,软件工程和机器学习的工作内容各占一半。我不是特别优秀,但是我所在的公司没有 AI/ML 专家,因此我被当作这方面的专家。)

reddit 网友纷纷回应。

有很多人赞同帖主的看法:

@gerry_mandering_50

「管理层想要「深度学习」解决方案,当有人读了一篇博客、抛出一些不完备的训练数据和 Keras model.fit() 后,就声称问题解决了,可他们竟然很满意。」

这部分说得太对了。我经常看到有博主整个复制网上的教程代码,只有少量原创文字,而且不写出处(通常是生产软件的技术公司将这些原创教程发在软件网站上,这些教程常常过分简单化)。这些博主认为自己是数据科学和机器学习领域的专家,好像这些代码是自己写的似的。

管理层无法分辨,在他们看来所有事情似乎都很简单而且已经得到解决,那么为什么我们不可以这么做呢?因为这就是生产软件的科技公司设计教程的目的啊……

@thetall0ne1

网友 thetall0ne1 表示,「我在一家技术公司使用、售卖机器学习应用好多年了,有时也会感到厌倦。不过,我倒支持使用深度学习模型解决问题。因为我发现结果很好。上周,我测试了一个 logo 检测器,这是一个简单的计算机视觉掩码,非常好用。看一下 Gartner 的机器学习技术成熟度曲线,你就会发现到达稳定期就好了。」

而有网友针对技术成熟度曲线回应说,「我确信我们还没到达幻灭期。我认识的很多人(一些连计算机都不怎么会用)都开始讨论机器学习了。」

也有网友持反对意见,从企业和职业发展的角度展开了论述:

@Scortius

我的看法完全不同。

帖主在非技术公司工作,他们支付给你的是固定薪水。发工资的钱来自于售卖的产品。作为员工,你有责任为公司提供价值。除非你在研究机构工作,那你的主要工作将是通过提供增加利润的方式来挣工资。

「用正确的方式」做事是很重要,但我也在琢磨,一个未受培训的员工如何能进入公司,还仅使用 model.fit() 就为公司提供了更多价值。

你没有了解如何用正常的方法获取工资,公司只是想要投资有所回报。我的研究所也有你这样的人,大家都不愿意跟他们合作,因为工作最终要求的还是简单且富有成效的结果啊。你需要将对公司的回报展现出来,进而获取更多时间和自由度去更深入地解决问题。你不在技术公司工作的话,尤其应该如此。

如果你想有更多时间探索如何使用现代方法或更正式的方法,你要么通过按照我建议的方式提供价值进而获得这种自由,要么利用你在这家公司的经验去支持探索性或深入研究的公司或研究机构工作。工作就在那里,但是即使是在那些工作岗位上,你也必须展现出价值,才能挣得深入研究的权利。

在帖子中,很多网友对这波 AI 浪潮炒作进行了讨论,其中多次提到了 Gartner 技术成熟度曲线。

事实上,自 2015 年以来,机器学习/深度学习就一直处于巅峰状态,那一年也被标记为距离生产力高峰 2 - 5 年。

如果你看过 Gartner 2015 年技术成熟度曲线,准备等兴奋「不可避免地」消退时进入机器学习,那你今天可能还需要等待——再多等三年。

或许这个「永久巅峰」显示了技术成熟度曲线的局限性。但是这也表明机器学习/深度学习将继续存在处于热潮之中。

更多的证据来自我最近写的一份 HFS 研究报告,其中,根据福布斯发布的全球企业 2000 强(Global 2000),71 % 的数据科学决策者表示机器学习没有被夸大。

以下是四年的完整历史:

2015 Gartner 技术成熟度曲线

机器学习的技术成熟度曲线首次亮相略超过了期望膨胀顶峰期(Peak of Inflated Expectations)。它是否已经走向幻灭期(Trough of Disillusionment)?

2016 Gartner 技术成熟度曲线

机器学习稍微向后移至顶峰,这绝不是走向低潮的迹象。

2017 Gartner 技术成熟度曲线

深度学习到达顶峰,加入机器学习

2018 Gartner 技术成熟度曲线

机器学习可能下滑了,但深度学习仍然位居顶峰。

深度学习还会面临技术成熟度曲线所暗示的那种强烈的预期修正吗?考虑到整个机器学习的应用状况,这似乎很难。HFS 研究调查中,86 % 的受访者认为这项技术正在对他们的行业产生影响。

其实,关于深度学习炒作的问题,从谷歌 AlphaGo 之后就从未断绝过,如今这种过度炒作对整个领域的影响已经显现出来:无论是学术研究还是在产业应用中。

而仅对工程师或者研究员来说,如何在 AI 泡破破裂时站稳脚跟是不得不考虑的问题。(推荐阅读:当 AI 泡沫破裂时……)

参考链接:https://www.reddit.com/r/MachineLearning/comments/9p9ccz/d_ml_is_losing_some_of_its_luster_for_me_how_do/

产业机器学习
2
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

阿尔法围棋技术

阿尔法围棋是于2014年开始由英国伦敦Google DeepMind公司开发的人工智能围棋程序。AlphaGo是第一个打败人类职业棋手的计算机程序,也是第一个打败围棋世界冠军的计算机程序,可以说是历史上最强的棋手。 技术上来说,AlphaGo的算法结合了机器学习(machine learning)和树搜索(tree search)技术,并使用了大量的人类、电脑的对弈来进行训练。AlphaGo使用蒙特卡洛树搜索(MCTS:Monte-Carlo Tree Search),以价值网络(value network)和策略网络(policy network)为指导,其中价值网络用于预测游戏的胜利者,策略网络用于选择下一步行动。价值网络和策略网络都是使用深度神经网络技术实现的,神经网络的输入是经过预处理的围棋面板的描述(description of Go board)。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

随机森林技术

在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。而"Random Forests"是他们的商标。这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林(random decision forests)而来的。这个方法则是结合Breimans的"Bootstrap aggregating"想法和Ho的"random subspace method" 以建造决策树的集合。

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中,我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。 数据通常包含噪音,错误,例外或不确定性,或者不完整。 错误和噪音可能会混淆数据挖掘过程,从而导致错误模式的衍生。去除噪音是数据挖掘(data mining)或知识发现(Knowledge Discovery in Database,KDD)的一个重要步骤。

推荐文章
暂无评论
暂无评论~