北京大学将于2021年8月23日至26日举办2021 IEEE认知发展与机器人学习国际会议（2021 IEEE International Conference on Development and Learning – ICDL），此次会议将开展以“机器人开放式自主学习”（Robot open-Ended Autonomous Learning, REAL）为主题的全球机器人算法竞赛。
开放式学习，也称为“终身学习”、“自主课程学习”和“无任务学习”，旨在构建能够以增量方式获得技能和知识的机器学习算法和智能机器人。REAL 2021竞赛的重点是“机器人开放式自主学习”，也就是说让机器人通过自主学习获得以下能力：
（1）获得感觉运动能力，并能够与外界物体和物理环境交互；
（2）以完全自主的方式学习，不需要人为干预，而是基于好奇心、内在动机、无任务强化学习、自我生成目标等机制。
REAL 2021竞赛分为两个阶段，在第一个“内在阶段”中，机器人将有一定的时间在竞赛环境中自由探索和学习；在第二个“外在阶段”中，机器人需要自主地完成新的未知任务来。竞赛最终将通过第二个阶段机器人完成任务的成功与否来，来衡量机器人通过自主学习的方式获得的解决新任务的能力。
REAL 2021竞赛的目标是：
（1）跟踪机器人开放式自主学习的最新进展；
（2）促进对开放式学习中问题的研究并提出新的解决方案；
（3）对该领域的相关基线指标进行研究、制定。
欢迎感兴趣的个人或团队参加REAL 2021竞赛，共同解决IEEE ICDL 2021相关领域的关键问题。另外，REAL 2021竞赛报名将是免费的，而且优秀队伍将获得丰厚的奖励：IEEE ICDL 2021的免费注册名额或将被邀请共同撰写一篇论文。
REAL 2021竞赛相关信息，请参考：https://icdl-2021.org/competition/
REAL 2021竞赛场景的相关技术思路可以参考下面的扩展阅读：
机器之心：https://www.jiqizhixin.com/articles/2017-05-20
伯克利与OpenAI整合强化学习与GAN：让智能体学习自动发现目标
强化学习是一种训练智能体执行任务的强大技术。然而，强化学习训练的智能体只能通过其奖励函数（reward function）实现单一任务，这种方法不能很好地扩展到智能体需要执行各种不同的任务集合中，例如导航到房间的不同位置或将物体移动到不同位置。相反，我们提出了一种允许智能体自动发现其能够执行的任务范围的方法。我们使用生成器网络给智能体提出任务，然后试着实现并将其作为目标状态（goal state）。该生成器网络使用对抗训练进行优化，以产生总是处于合适难度的智能体任务。因此，我们的方法自动生成任务，以供智能体学习。我们表明，通过使用此框架，智能体可以高效自动地学习执行广泛的任务，而不需要任何预先的环境知识。我们的方法也可学习以稀疏奖励（sparse reward）来完成任务，而在以往这是重大的挑战。
机器之心：https://www.jiqizhixin.com/articles/2017-05-17-16
让好奇心驱动人工智能：UC Berkeley提出自监督预测算法
在很多现实世界场景中，对于外部人工智能代理（agent）完成任务的奖励是稀疏的，有时甚至完全不存在。在这种情况下，好奇心可以成为人工智能算法内在的回报信号，让代理可以探索环境并学习可能「终身受用」的技能。在本研究中，我们将好奇心构型，作为人工智能代理在动态环境中自我监督学习时预测自身行动结果造成的错误。我们的方法适用于图像这样的高维连续状态空间，跳过直接预测图像困难的问题，也大量忽略了不能影响代理的环境情况。我们提出的方法在两种环境中进行了评估：VizDoom（一种基于视频游戏《Doom》的人工智能研究平台）和《超级马里奥兄弟》。评估主要研究三个方面：1. 稀疏的外部奖励，这样好奇心将在达到目标的过程中占据重要位置；2. 没有外部奖励的探索，在这种情况下好奇心会推动代理进行更有效的探索；3. 全新的环境（如一个游戏的新关卡），在这种情况下此前获得的经验可以帮助人工智能快速上手。
