2018/05/27 12:15

INTERFACE#7 极棒黑客大赛王琦、清华大学朱军教授：论AI安全攻与防

以马斯克为代表的专家总是警告人们：人工智能会制造人类难以想象的恶意行为。事实上，被人们依赖的 AI 也不那么完美、可靠，AI 在安全性方面还存在缺陷。在 INTERFACE 第七期中，我们邀请到了 GeekPwn 黑客大赛创办人、碁震公司创始人兼 CEO 王琦与清华大学计算机系长聘副教授朱军来一起讨论 AI 安全的攻与防。

演讲主题一：人「攻」智能

演讲摘要： AI 应用系统是一个整体，任何环节出现漏洞，都有可能出现安全问题。以极棒实验室研究的攻击人脸识别系统为例，使用传统的黑客攻击方法，如攻击者通过侵入并控制该系统管理端，利用其操作系统漏洞和应用层逻辑漏洞等，最终都可攻破系统。再看人工智能现成的框架和库，例如 OpenCV、TensorFlow 等都已经被研究者发现存在漏洞。除此之外，对于算法本身的攻击也成为研究 AI 安全领域的重要方向。如果说 AI 仅仅是工具，那么被不同的人利用效果也会有所不同。利用 AI 模仿人类声纹、笔迹等等，都曾成功在极棒比赛现场复现。当越来越多的 AI 被运用于我们的日常生活、工作中，关键问题在于它真的值得信赖吗？人工智能在模仿人类的同时，不可避免的和人一样存在缺陷。如果我们不能及时发现并消灭这些缺陷，这些可以被恶意利用的显而易见的隐患将会造成更大的威胁。GeekPwn2018 设立了 CAAD（对抗样本攻防赛）和「数据追踪挑战赛」，关注 AI 图像识别领域的安全问题以及把 AI 为工具的比赛项目。这个分享将介绍「黑客眼中的 AI 安全」和 GeekPwn 黑客大赛上对于 AI 领域安全的探索。

GeekPwn（极棒）大赛发起创办人，第一个获得世界顶级黑客大赛冠军的亚洲团队碁震（KEEN）创始人、碁震公司 CEO 王琦

讲者简介：王琦，江湖人称「大牛蛙」，GeekPwn（极棒）大赛发起创办人，第一个获得世界顶级黑客大赛冠军的亚洲团队碁震（KEEN）创始人、碁震公司 CEO。前微软美国总部以外第一个区域性安全响应中心 China MSRC 创始人之一和技术负责人，微软亚太区第一个漏洞研究领域专家级研究员。2014 年获上海 IT 青年十大新锐奖，同年他带领 KEEN 创办发起全球首个关注智能生活、人工智能安全的黑客赛事平台 GeekPwn，充当安全新秀的推手，让更多有技术潜质的人找到属于自己绽放光彩的舞台。

演讲主题二：深度学习的对抗攻击与防守

演讲摘要：深度学习模型（或一般的机器学习方法）通常容易被对抗噪声攻击，这给实际应用带来了很多风险。如何有效进行攻击以及如何进行防守受到了学术界和工业界的广泛关注。谷歌公司在 NIPS 2017 会议上举办了一个对抗攻击与防守的竞赛，吸引了百余支队伍。在这个报告中，将介绍深度学习对抗攻击与防守方面的一些最新进展，包括赢得 NIPS 竞赛的解决方案以及一些近期的工作。

讲者简介：朱军，清华大学计算机系长聘副教授、卡内基梅隆大学兼职教授。2001 到 2009 年获清华大学计算机学士和博士学位，之后在卡内基梅隆大学做博士后，2011 年回清华任教。主要从事人工智能基础理论、高效算法及相关应用研究，在国际重要期刊与会议发表学术论文百余篇。担任人工智能顶级杂志 IEEE TPAMI 和 AI 的编委、《自动化学报》编委，担任机器学习国际大会 ICML2014 地区联合主席, ICML (2014-2018)、NIPS (2013, 2015, 2018)、UAI (2014-2018)、IJCAI（2015,2017）、AAAI（2016-2018）等国际会议的领域主席。获 CCF 自然科学一等奖、CCF 青年科学家奖、国家优秀青年基金、中创软件人才奖、北京市优秀青年人才奖等，入选国家「万人计划」青年拔尖人才、MIT TR35 中国区先锋者、IEEE Intelligent Systems 杂志评选的「AI's 10 to Watch」（人工智能青年十杰）、及清华大学 221 基础研究人才计划。

时间：2018 年 6 月 2 日

14:00-14:30 签到
14:30-15:00 王琦分享
15:00-15:40 朱军分享
15:40-16:00 现场提问、交流

地点：北京市海淀区中关村鼎好 a 座三楼太库科技路演厅

报名链接：http://t.cn/R1zjsHc

入门活动Interface

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体（一般特指人）本身的生物特征来区分生物体个体。

来源：维基百科

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

OpenCV技术

OpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。

来源：维基百科

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本，它们看上去与真实样本的几乎相同（无法用肉眼分辨），但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

来源：Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.