2019/06/17 14:09

结合强化学习，腾讯数据库最新研究入选顶级会议SIGMOD

腾讯与华中科技大学合作的最新研究成果，入选了国际数据库顶级会议SIGMOD的收录论文，并将于6月30日在荷兰阿姆斯特丹召开SIGMOD 2019国际会议上公开发表。

入选论文的题目为“An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning”，此项研究突破性的实现了基于AI技术的数据库性能调优结果首次全面超越数据库专家经验判断的传统方法。该成果由华中科技大学武汉光电国家研究中心周可教授团队和腾讯技术工程事业群云架构平台部CDB数据库团队合作完成，博士生张霁为第一作者。

链接：http://dbgroup.cs.tsinghua.edu.cn/ligl/papers/sigmod19-cdbtune.pdf

智能云存储技术联合研究中心由腾讯与华中科技大学于2018年成立，旨在通过强强联合，建设一流的智能云存储技术创新和人才培养平台。通过吸引汇聚顶尖专业人才，腾讯与华中科技大学在分布式存储技术、高性能存储引擎、业务负载预测等方面开展联合技术攻关，突破超大规模云存储服务系统的诸多技术难题，推动智能云存储技术的科技创新及技术应用落地。本次入选的论文，正是智能云存储技术联合研究中心的联合研究成果之一。

SIGMOD数据管理国际会议是数据库领域具有最高学术地位的国际性学术会议，位列数据库方向顶级会议之首。

随着云计算的迅速发展，中小型企业通过购买云数据库服务系统，来代替自建和维护数据库服务系统的情况越来越多，以便节约人力物力。然而，大多数用户在购买云数据库服务系统后仅仅停留在使用层面上，在使用过程中经常遇到数据库系统性能下降的情况，由于缺少数据库管理系统性能优化的经验，用户很难发现导致数据库系统性能下降的原因并有效地解决，这就需要云服务提供商为用户及时地调整数据库系统参数，以保证数据库的性能维持在一个较优的状态。对于拥有数十万计用户实例的云服务提供商来说，完全依赖数据库专家进行数据库参数调优显然是不现实的，如何利用AI技术解决数据库系统性能问题已经变得越来越重要和紧迫。

该文首次提出了一种基于深度强化学习的端到端的云数据库自动性能优化系统CDBTune，如图1所示。该系统可以在缺少相关经验数据训练的情况下建立优化模型，为云数据库用户提供在线自动优化数据库性能的服务，性能调优结果首次全面超越数据库专家，这将大幅提高数据库运维效率。

图1 强化学习与数据库性能优化关系图如图2所示，在多种不同负载和不同类型的数据库下进行的大量实验证明，CDBTune性能优化结果明显优于目前已有数据库调优工具和DBA专家。即使在弹性云环境下，用户购买数据库内存或磁盘大小发生变化，或负载发生变化（类型不变）的情况下，实验证明CDBTune依然保持了较好的适应能力。

性能比较内存

磁盘容量变化对模型的影响图2 CDBTune性能测试结果
在实际系统中，如图3所示，当用户或者系统管理员有数据库性能优化需求时，可以通过相应的交互接口提出调参优化请求，此时云端的控制器通过给智能优化系统发出调参请求，并根据用户真实负载建立的深度强化学习模型推荐出的相应的参数配置，然后将该配置在数据库中进行设置。反复执行上述的执行过程，直到待调参的数据库性能满足用户或系统管理员的需求即停止调参。

图3 CDBTune系统交互图对于该论文，SIGMOD评审委员会给到了极高的评价：The paper is on the exciting new area of tuning databases with machine learning. Specifically using reinforcement learning. It does not just throw machine learning techniques but it does a good effort to explain how the techniques exactly match to the particular problem, what are the analogies with more traditional machine learning terminology, etc. Given that not everyone is knowledgeable in these techniques in the DB community this works in an educational way as well and is very much appreciated. （本文是关于利用机器学习方法优化数据库的技术，这是一个令人振奋的新领域。特别是它使用了强化学习的方法。这篇文章不仅仅是简单地抛出一个机器学习技术，而且非常好地解释了机器学习是如何与特定的问题进行完全的匹配，同时也阐述了与传统机器学习术语之间的类比问题。鉴于在数据库社区中并非每个人都能对这些技术了如指掌，这也是一种教学方式，因此我们非常赞赏这篇文章。）

每年SIGMOD会议都会吸引大量全球学术组织和工业界数据库研究人员参会和分享，也汇聚了学术界和工业界在数据库领域最前沿的技术研究动向。

产业强化学习腾讯数据库机器学习

相关数据

深度强化学习技术

强化学习（Reinforcement Learning）是主体（agent）通过与周围环境的交互来进行学习。强化学习主体（RL agent）每采取一次动作（action）就会得到一个相应的数值奖励（numerical reward），这个奖励表示此次动作的好坏。通过与环境的交互，综合考虑过去的经验（exploitation）和未知的探索（exploration），强化学习主体通过试错的方式（trial and error）学会如何采取下一步的动作，而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励（accumulated reward）。一般来说，真实世界中的强化学习问题包括巨大的状态空间（state spaces）和动作空间（action spaces），传统的强化学习方法会受限于维数灾难（curse of dimensionality）。借助于深度学习中的神经网络，强化学习主体可以直接从原始输入数据（如游戏图像）中提取和学习特征知识，然后根据提取出的特征信息再利用传统的强化学习算法（如TD Learning，SARSA，Q-Learnin）学习控制策略（如游戏策略），而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

来源：Scholarpedia

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

数据管理技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，其目的在于充分有效地发挥数据的作用。

来源：百度百科

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

云计算技术

云计算（英语：cloud computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

来源：Cloud Computing

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/