1900页数学基础:面向CS的线性代数、拓扑、微积分和最优化

宾夕法尼亚大学计算机和信息科学系教授 Jean Gallier 的开源书籍《Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Engineering》用一本书的容量解决了所有问题。

这本书涵盖了计算机科学所需的线性代数、微分和最优化理论等问题,可谓详尽。

链接:http://www.cis.upenn.edu/~jean/math-basics.pdf

为什么要读这本书?

近年来,计算机科学、机器人学、机器学习和数据科学已经成为技术发展的重要推力。任何查看这些领域相关论文的人都会受到一些奇怪术语的困扰,如核 PCA、岭回归、套索回归支持向量机(SVM)、拉格朗日乘数、KKT 条件等。这些奇怪的术语背后涉及的是大量有关最优化理论的「经典」线性代数知识。那么问题来了:要想理解并用好机器学习、计算机视觉等领域的工具,你就需要打好线性代数和最优化理论的知识基础。而且,你还需要学一些概率和统计方面的东西。

很多有关机器学习的书籍都在试图解决上述问题。如果你不了解拉格朗日对偶框架,那又从何理解领回归问题的对偶变量呢?同样地,如果你没有深刻理解拉格朗日框架,又怎么可能探讨 SVM 的对偶公式呢?

对这些问题避而不谈是一种省事的解决方式。如果你只是上述方法技巧的使用者,「食谱」类方法或许就足够了。但是,这种方法并不适用于那些真正想要从事研究并希望做出重大贡献的人。所以,作者认为,你还必须具有扎实的线性代数、最优化理论等方面的背景知识。

这会是一个问题,因为你需要投入大量的时间和精力来学习这些领域的知识,但作者相信坚持不懈的努力总会收到丰厚的回报。

这本书讲了什么?

这本书的主要目的是介绍线性代数和最优化理论的基础知识以及这些知识在机器学习、机器人学、计算机视觉等领域的应用。

该书包含以下 10 卷:

1. 线性代数

2. 仿射几何和射影几何

3. 双线性形式的几何

4. 几何:PID、UFD、诺特环、张量、PID 上的模块、规范形

5. 拓扑和微分

6. 最优化理论基础

7. 线性优化

8. 非线性优化

9. 在机器学习中的应用

10. 附录

从大纲来看,除了基础内容外,该书还探讨了一些对于应用非常重要的知识。

对于大部分内容,该书都提供了完整的证明,一是为了使该书自成体系,二是因为只有证明出来才能对内容有深刻的理解。但作者建议在第一次阅读时跳过那些证明过程,尤其是比较长或比较复杂的证明。

以下是本书的部分目录:

作者

本书作者 Jean Gallier 今年 70 岁,来自宾夕法尼亚大学。目前的研究方向主要为计算机图形学、计算机视觉机器人技术等。他还曾发表过谐波分析与表征理论、线性代数优化器的机器学习应用、关于微分几何和李氏群的说明等书籍。

入门数据科学机器人技术计算机视觉智能写作线性代数计算机科学宾夕法尼亚州立大学书籍数学
91
相关数据
计算机图形技术

图像数据处理、计算机图像(英语:Computer Graphics)是指用计算机所创造的图形。更具体的说,就是在计算机上用专门的软件和硬件用来表现和控制图像数据。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

机器人技术技术

机器人学(Robotics)研究的是「机器人的设计、制造、运作和应用,以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。 机器人可以分成两大类:固定机器人和移动机器人。固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器;另外还有能够实现感知能力的软件,比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成,这也是人工智能领域最早的终极目标之一。

支持向量机技术

在机器学习中,支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例,每个训练实例被标记为属于两个类别中的一个或另一个,SVM训练算法创建一个将新的实例分配给两个类别之一的模型,使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点,这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后,将新的实例映射到同一空间,并基于它们落在间隔的哪一侧来预测所属类别。

线性代数技术

线性代数是数学的一个分支,它的研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题;因而,线性代数被广泛地应用于抽象代数和泛函分析中;通过解析几何,线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型,使得线性代数被广泛地应用于自然科学和社会科学中。

优化器技术

优化器基类提供了计算梯度loss的方法,并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法,如梯度下降和Adagrad。 优化器是提供了一个可以使用各种优化算法的接口,可以让用户直接调用一些经典的优化算法,如梯度下降法等等。优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer(tensorflow下的优化器包)等等这些算法。

套索回归技术

推荐文章
链石科技・开发
坐等中文版