杜伟、陈萍编辑

​图神经网络新课上架:​宾大2020秋季在线课程开课,视频上线B站

关于神经网络(GNN)的在线课程已上线,讲师为宾夕法尼亚大学电气与系统工程系教授 Alejandro Ribeiro,部分视频以及文字讲稿已放出。

神经网络(GNN)是对图形支持的信号进行信息处理的体系架构。这种架构已经被开发出来,并在一门在线课程中作为卷积神经网络(CNN)的泛化,用于处理时间和空间中的信号。

根据大家对神经网络深度学习的了解,这句话听起来可能非常奇怪。CNN 不就是神经网络(NN)的一种特例吗?GNN 也应当如此吧?从严格意义上讲,它们确实是这样。但是,这门课程的重点在于涉及到高维信号的扩展问题。在这些设置中,NN 无法实现扩展,而 CNN 在时间和空间上为信号提供了可扩展学习,GNN 支持对图形支持的信号进行可扩展学习。

这是一门什么课程呢?这门课程由宾夕法尼亚大学电气与系统工程系教授 Alejandro Ribeiro 于 2020 年 8 月底开设,专门讲述神经网络(GNN)。Ribeiro 的主要研究方向是将信号处理应用于网络研究,他的研究项目主要涉及无线网络的优化设计、分布式信号处理和优化、网络数据的结构化表示以及图形信号处理

就课程内容而言,本课程主要探讨了图卷积滤波器和图滤波器组,研究了单特征和多特征图 GNN。此外,课程介绍了循环 GNN 等相关网络架构,并重点强调了 GNN 的置换等变性和图变形的稳定性。这些特性提供了一种可以从实证角度观察到 GNN 良好性能的解释方法。该课程还将研究大量节点中的 GNN,以解释 GNN 在不同节点数的网络中的可迁移性。

目前,该课程 Lecture 1 至 Lecture 5 的视频资源已经在 YouTube 和 B 站同时上线,对该主题感兴趣的读者可前往观看。

  • YouTube 地址:https://www.youtube.com/channel/UC_YPrqpiEqkeGOG1TCt0giQ/playlists

  • B 站地址:https://www.bilibili.com/video/av457264185/

课程详情

本课程为宾夕法尼亚大学开设的 2020 秋季在线课程。每周一早上将放出时长 40 至 60 分钟预先录制的授课视频,并且根据具体内容将每节课程分割成时长 3 至 10 分钟不等的不同模块。除了授课视频外,授课者还将提供课程的文字讲稿。

目前,该课程的前 5 节课程视频和文字讲稿已经放出,我们来看一下这几节课具体讲了哪些内容。

Lecture 1 讲述了本课程的学习目标以及解释 GNN 的重要性,还探讨了在可扩展性学习中利用结构的重要性以及卷积在欧几里得空间中处理信号时如何利用结构。此外,本节课还进一步解释了如何将卷积泛化至图,以及卷积神经网络到图(卷积)神经网络的泛化。

Lecture 2 更深入地解读了机器学习(ML)和人工智能(AI)的含义,并表示 ML 和 AI 是统计和经验风险最小化的「同义词」。

Lecture 3 则具体地讲述了用于设计图形信号学习参数化的技术,以及图卷积滤波器的相关内容。

Lecture 4 主要介绍了神经网络(GNN)。从图过滤器开始,并通过添加具有逐点非线性的组件构建图感知器。此外还讲述了堆叠感知器构造 GNN 的相关内容。

Lecture 5 探讨了神经网络(GNN)的置换等变特性和以及变形稳定性。

更多课程视频将陆续放出,请持续关注。

参考链接:https://gnn.seas.upenn.edu/

入门在线课程教程宾夕法尼亚大学图神经网络
2
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

信号处理技术

信号处理涉及到信号的分析、合成和修改。信号被宽泛地定义为传递“关于某种现象的行为或属性的信息(如声音、图像和生物测量)”的函数。例如,信号处理技术用于提高信号传输的保真度、存储效率和主观质量,并在测量信号中强调或检测感兴趣的组件。我们熟悉的语音、图像都可以看做是一种信号形式。因此,对于语音、图像的增强、降噪、识别等等操作本质上都是信号处理。

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括:在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化,以及尝试对学习集的剩余部分进行猜测,并且输出正确的结果。当与多个泛化器一起使用时,堆叠泛化可以被看作是一个交叉验证的复杂版本,利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时,堆叠泛化是一种用于估计(然后纠正)泛化器的错误的方法,该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

感知器技术

感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络,是一种二元线性分类器。 Frank Rosenblatt给出了相应的感知机学习算法,常用的有感知机学习、最小二乘法和梯度下降法。

推荐文章
暂无评论
暂无评论~