探究对话系统研究中的Goal Oriented和Task Oriented 概念的异同

作者:宋皓宇,张伟男。哈尔滨工业大学计算机科学与技术学院,社会计算与信息检索研究中心。

前言:目前学术界和工业界对于人机对话系统的具体分类尚无明确统一的标准。在对话系统的相关研究工作中,一直存在着两个相似的术语:“Goal Oriented”和“Task Oriented”。通过对出现这两个术语的相关论文进行梳理和分析,以及与人机对话领域的前沿研究学者的共同探讨,我们最终得出结论:在没有特别说明的情况下,人机对话系统研究工作中的“Goal Oriented”和“Task Oriented”有着相同的含义,它们只是对同一工作的不同描述。

图1 人机对话系统的分类

人机对话系统是将机器视为一个认知主体的人机双向信息交换系统,是实现人机交互(Human Computer Interaction,HCI)的一种方式[1]。根据人机对话系统的功能不同,可以分为两个大类:开放域的对话系统(Open Domain Dialog System)和领域任务型的对话系统(Task Oriented Dialog System)。开放域对话系统不针对某一特定领域,目的不是完成某项特定的任务,而是满足用户的聊天或者开放百科问答等需求,其代表性产品就是闲聊机器人,比如微软小冰;领域任务型对话系统则是针对具体的应用领域,比如餐厅预订、公交线路查询、设备控制等,以完成一项具体的领域任务为目标,代表性产品有苹果的Siri和微软的Cortana。

在领域任务型对话系统的相关研究中,存在着两个很相似的术语:Goal Oriented和Task Oriented。从事对话系统相关的研究工作,有必要弄清楚这两个术语到底有无区别;如果有区别,到底在哪些地方存在差异,比如基本概念、构建方法、针对的场景等。同时,理解这两个术语的异同,对于理解相关研究工作的区别和联系也是有帮助的。因此,我们从相关论文出发,进行梳理和分析,同时与人机对话领域的前沿研究学者共同探讨,最终得出了“人机对话系统研究工作中的Goal Oriented和Task Oriented是对同一工作的不同描述”的结论。下文提到的“Goal Oriented对话系统”和“Task Oriented对话系统”均是指论文中的说法,而不是刻意的区分。

从时间上来看,二者都不是新出现的概念,这两个术语在对话系统的研究工作中的出现时间都不少于10年。Goal Oriented这一术语在2007年出现在了对话系统的相关研究工作中[2];而术语Task Oriented早在1999年就出现在了对话系统综述的论文里[3]。单从词语上来讲,“任务型”最直接对应的术语应该是“Task Oriented”,而这一术语出现的时间又更早,所以很可能产生一种直观的感觉:“Task Oriented Dialog System”就是“领域任务型对话系统”的全部;而术语Goal Oriented则是一个区别于Task Oriented的概念,二者的应用场景是不同的。这种想法很自然,但是当我们详细阅读论文中有关Goal Oriented或者Goal的叙述时,就会发现这些叙述和Task Oriented并无区别,有的叙述甚至直接使用了词语Task或者Task Oriented去解释Goal或者Goal Oriented。以前面提到的论文(C.Lee et al. ,2007)为例[2],在这篇文章的Introduction部分有这么一些叙述:“…,where users have well-defined and task-oriented goals”;“…there is another genre of dialog domain such as chats and smalltalks where users do not have any specific goal but want to have social interactions…”。从前一句可以看出,作者认为Goal是在构建系统前已经定义好的并且基于特定任务;后一句说明作者认为所谓的Goal Oriented Dialogs是直接与“闲聊”(Chats and Small Talks)这样的开放域对话相对应的。我们能够看到,这里的Goal Oriented与Task Oriented并无明显的界限。

从基本定义来看,二者也是几乎相同的。Task Oriented Dialog长期以来被认为是与开放域的对话相对应,用以完成某个领域特定任务的这样一个概念;在2016年的一篇关于Goal Oriented对话系统的论文中(A.Bordes et al. ,2016)[4],给出了关于Goal Oriented对话系统的一个比较正式的描述:“the system needs to understand a user request and complete a relatedtask with a clear goal within a limited number of dialog turns.”[4]。可以看出,Goal Oriented对话系统实际上也是要完成一个目标明确的任务。我们可以发现,二者的基本定义之间也没有本质区别。

从构建系统的方法来看,如果Goal Oriented对话系统和Task Oriented对话系统的构建方式不同,比如Task Oriented对话系统都使用基于填槽(Slot-Filling)的方式构建,而Goal Oriented对话系统都使用端到端(End-to-End)的方式构建,那么我们就不能说二者有着相同的含义。但是经过梳理相关的论文,我们发现二者构建方式的发展变化是一致的。

只考虑近10年的统计对话系统(Statistical Dialog Systems ,SDS),在2007年,S. Young等人提出了部分可观测马尔可夫决策过程(Partially Observable Markov Decision Processes,POMDP)[5],用以建模对话过程的不确定性以及跟踪对话目标的完成情况,为Task Oriented对话系统的建模建立了基础。基于POMDP的Task Oriented对话系统曾在CMU举办的“Let’s Go”竞赛任务中被应用,其为Pittsburgh区域的居民播报非忙时段的公交车信息。结果显示,基于POMDP的系统明显优于传统系统[6]。基于POMDP的Task Oriented对话系统在本质上仍然是使用的填槽的方式来完成一个特定任务信息的获取的。在这段时间内(2007-2013),可以认为Task Oriented对话系统的主流构建方式是事先定义好一个任务,并拆分为一系列的槽(slot),在对话交互过程中进行填充。近两年端到端的方式逐渐兴起,开始有学者尝试使用端到端的方式来构建Task Oriented对话系统[7]。端到端的方式不同与传统的填槽的方式,没有复杂的中间结构,试图直接由输入得到输出,但是就目前取得的效果而言,这种方式还不足以在Task Oriented对话系统中取代填槽的方式。简而言之,Task Oriented对话系统的构建方式主要是基于填槽的方法,最近端到端的方式开始兴起,但还无法取代传统的填槽方式。

对于Goal Oriented对话系统而言,传统的方式也是基于填槽[8][9],并且基本思想与所谓的Task Oriented对话系统填槽的基本思想相同:事先定义好一个对话的结构,以及一系列的需要填充的槽(slot),然后在对话过程中填满这些槽。近两年,Goal Oriented对话系统也开始尝试使用端到端的方式(A.Bordes et al. ,2016)[4]。因此,Goal Oriented对话系统的构建方式和Task Oriented对话系统的构建方式相同,也是以填槽方式为主流(目前效果最好),并且开始尝试使用端到端模型。

从针对的场景来看,Task Oriented对话系统的相关论文针对的场景有:公交线路查询[6]、餐厅推荐与预订[7][10]等;Goal Oriented对话系统的相关论文针对的场景有:餐厅推荐与预订[4]、旅游信息规划[11]等。除了明显的交集外,旅游信息规划这样一个场景与餐厅推荐、公交线路查询等场景在本质上并无区别。我们可以看到,二者针对的基本场景也是几乎一致的。


图2 任务型对话系统模块图

再从系统的核心任务来进行分析。对话管理模块(Dialogue Manager)是领域任务型对话系统的一个核心组件,如图2所示,其中一个重要的组成部分就是对话状态估计模块(State Estimator)。在基于POMDP模型的Task Oriented对话系统中,这一模块的任务是通过置信状态(Belief State)的跟踪来完成的;而Goal Oriented对话系统曾出现在Dialog State Tracking Challenge这个竞赛中(Z Wanget al. , 2013)[9],可以从一个侧面说明对话状态的跟踪也是其核心任务。因此,Goal Oriented对话系统在核心任务上也与Task Oriented对话系统没有区别。

根据以上的分析,我们已经可以认为“Goal Oriented”和“Task Oriented”有着相同的含义。此外,我们还与人机对话领域的前沿研究学者的进行了深入探讨,他们分别是Facebook AI的Antoine Bordes博士和Jason Weston博士,以及剑桥大学统计对话系统(SDS)团队的博士生Pei-Hao Su。众所周知,Facebook从去年开始大力投入聊天机器人的研究与开发工作,Antoine Bordes博士和Jason Weston博士也是引文[4]的主要作者;剑桥大学的SDS团队在学术界具有很高的声望,该团队的博士生Pei-Hao Su获得了2016年ACL的Best Student Paper荣誉[10]。无一例外,他们都认为“Goal Oriented”和“Task Oriented”的含义没有区别。在此感谢他们对这个问题作出的回答。

综上所述,我们认为在人机对话系统的研究工作中,术语“Goal Oriented”和术语“Task Oriented”有着相同的含义,它们仅仅是针对同一工作的不同描述。最后,我们希望通过本文的梳理工作,能够对刚进入或者希望进入人机对话研究领域的初学者们有所帮助;通过理清“Goal Oriented”和“Task Oriented”两个说法之间的关系,更好的理解已有的相关研究工作,进而更好的开展未来的研究工作。

参考文献:

[1].俞凯,陈露,陈博,孙锴,朱苏. "任务型人机对话系统中的认知技术——概念、进展及其未来". 计算机学报. 2015.

[2].C.Lee,S.Jung,M.Jeong, GG.Lee." Chat and goal-oriented dialog together: A unified example-based architecture for multi-domain dialog management".Spoken Language Technology Workshop.2007.

[3].A.Flycht-Eriksson."A survey of knowledge sources in dialogue systems". Proceedings of IJCAI99 Workshop on Knowledge & Reasoning in Practical Dialogue Systems. 1999.

[4].A.Bordes,J.Weston." Learning End-to-End Goal-Oriented Dialog". arXiv. 2016.

[5].J.Williams and S.Young."Partially observable Markov decision processes for spoken dialog systems".Comput. Speech Lang., vol. 21, no. 2, pp. 393–422. 2007.

[6].S.Young,M.Gasic,B.Thomson,JD.Williams." POMDP-Based Statistical Spoken Dialog Systems: A Review".Proceedings of the IEEE. 2013.

[7].Tsung-Hsien Wen, DavidVandyke,Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, Steve Young. "A Network-based End-to-End Trainable Task-oriented Dialogue System". arXiv.2016.

[8].Lemon, O., Georgila,K., Henderson, J., and Stuttle, M. "An isu dialogue system exhibiting reinforcement learning of dialogue policies: generic slot-filling in the talkin-car system". In Proceedings of the 11th Conference of the European Chapter of the ACL: Posters & Demonstrations, pages 119–122. 2006.

[9].Wang, Z. and Lemon,O.. "A simple and generic belief tracking mechanism for the dialog statetracking challenge: On the believability of observed information". InProceedings of the SIGDIAL 2013 Conference. 2013.

[10].Pei-Hao Su, Milica Gasic, Nikola Mrksic, LinaRojas-Barahona, Stefan Ultes,David Vandyke, Tsung-Hsien Wen, Steve Young." On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems". Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016.

[11].Layla El Asri,Hannes Schulz,ShikharSharma, Jeremie Zumer, Justin Harris. "Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems". arXiv.2017.


本文来源于哈工大SCIR

原文链接点击即可跳转

产业对话系统论文理论NLP
哈工大SCIR
哈工大SCIR

哈尔滨工业大学社会计算与信息检所研究中心

哈工大SCIR
哈工大SCIR

哈尔滨工业大学社会计算与信息检索研究中心

推荐文章
当我们谈论NLP、CV和DL的时候,我们在读什么?当我们谈论NLP、CV和DL的时候,我们在读什么?
PaperWeeklyPaperWeekly
基于背景知识的对话模型基于背景知识的对话模型
PaperWeeklyPaperWeekly
自然语言处理顶级会议ACL2016即将召开,10大优秀论文先睹为快(附论文)自然语言处理顶级会议ACL2016即将召开,10大优秀论文先睹为快(附论文)
机器之心机器之心
返回顶部