吴恩达《机器学习》笔记,哥大研究生献上

今天介绍一份机器学习的笔记,由哥伦比亚大学研究生张威整理。张威同学本科毕业于加拿大滑铁卢大学电子工程系,曾经联合带队参加 2016 年 IEEE 数字信号处理大赛获得前 10 的名次,也曾在微软亚洲研究院副院长郭百宁老师研究组和首席研究员曾文军老师研究组实习。在哥伦比亚大学,张威同学也担任过《Bayesian Model Machine Learning》这门机器学习进阶课程的助教。

笔记地址:https://wei2624.github.io/machine%20learning/Machine-Learning-Notes/

张威同学主要根据吴恩达在斯坦福教授的《机器学习》(CS 229)的最新课程笔记进行梳理,这门课要比 Coursera 上的更全面和进阶。他同时结合了在哥大所选的机器学习相关课程,比如 David Blei 老师的《Foundations of Graphical Models》。

David Blei 是哥伦比大学计算机系和统计系的教授,曾在 UC Berkeley 获得博士学位,导师是迈克尔乔丹,和吴恩达算是同门师兄。每年秋季 Blei 教授都会教授《Foundations of Graphical Models》这门研究生课程。这门课程主要涉及到利用最新的机器模型建模,并解决现实问题。课程大纲如下:

课程地址:http://www.cs.columbia.edu/~blei/fogm/2018F/index.html

关于这份笔记,作者主要目的是:(1)多角度切入,能够让有一些基础的同学从不同的角度理解相同的定理。(2)解释数学,复现证明步骤,对于原笔记里面较复杂的推导步骤给出详细的步骤分解。(3)内容整合,整合多个高质量课程的笔记内容,加入自己的理解,从学生的角度出发让内容更好理解。

尽管作者并没有覆盖课程的所有内容,但根据自己的思考对课程内容提取精华,并将在之后继续补充。作者的关注点还在于用大白话解释理论概念,并给出定理的证明。

对于想通过自学机器学习的读者或者计算机专业的同学在复习的时候,都还是很不错的参考资料。后续也会有会中文版推出。

在阅读笔记之前,建议读者先掌握一些关于概率、线性代数和向量微积分的基本知识。阅读可以从头开始一直到结束顺序完成,也可以根据需要跳读。有什么意见或建议,可以直接在笔记页面上留言或和作者互动。

笔记目录如下:

每个主题下还有更详细的子目录,如下图所示,判别式算法的子目录。

理论深度学习无监督学习监督学习哥伦比亚大学机器学习吴恩达
91
相关数据
微软亚洲研究院机构

微软亚洲研究院于1998年在北京成立,是微软公司在亚太地区设立的基础及应用研究机构,也是微软在美国本土以外规模最大的一个研究院。微软亚洲研究院从事自然用户界面,智能多媒体,大数据与知识挖掘,人工智能,云和边缘计算,计算机科学基础等领域的研究,致力于推动计算机科学前沿发展,着眼下一代革命性技术的研究,助力微软实现长远发展战略。通过与微软产品部门紧密合作,微软亚洲研究院将众多创新技术转移到了微软的核心产品中,如Office、Windows、Azure、Bing、Visual Studio、Xbox Kinect以及小冰、Cortana和Microsoft Translator等人工智能产品。

https://www.msra.cn/
吴恩达人物

斯坦福大学教授,人工智能著名学者,机器学习教育者。2011年,吴恩达在谷歌创建了谷歌大脑项目,以通过分布式集群计算机开发超大规模的人工神经网络。2014年5月16日,吴恩达加入百度,负责“百度大脑”计划,并担任百度公司首席科学家。2017年3月20日,吴恩达宣布从百度辞职。2017年12月,吴恩达宣布成立人工智能公司Landing.ai,并担任公司的首席执行官。2018年1月,吴恩达成立了投资机构AI Fund。

戴维·布莱人物

哥伦比亚大学统计和计算机科学系教授。2014年秋季之前担任普林斯顿大学计算机科学系的副教授。他的工作主要是机器学习。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

数字信号处理技术

数字信号处理(digital signal processing),简称DSP,是指用数学和数字计算来解决问题。 大学里,数字信号处理常指用数字表示和解决问题的理论和技巧;而DSP也是数字信号处理器(digital signal processor)的简称,是一种可编程计算机芯片,常指用数字表示和解决问题的技术和芯片。

微积分技术

微积分(Calculus)是高等数学中研究函数的微分(Differentiation)、积分(Integration)以及有关概念和应用的数学分支。它是数学的一个基础学科。内容主要包括极限、微分学、积分学及其应用。微分学包括求导数的运算,是一套关于变化率的理论。它使得函数、速度、加速度和曲线的斜率等均可用一套通用的符号进行讨论。积分学,包括求积分的运算,为定义和计算面积、体积等提供一套通用的方法 。

线性代数技术

线性代数是数学的一个分支,它的研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题;因而,线性代数被广泛地应用于抽象代数和泛函分析中;通过解析几何,线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型,使得线性代数被广泛地应用于自然科学和社会科学中。

推荐文章
get后,练起来