Phoenix,追一科技资深产品经理作者

AI思想汇:智能服务管理的选择、闭环化、误区与挑战

企业服务智能化管理,都面临哪些痛点?针对这些痛点,市场上都有哪些解决之道,各自优劣区别如何?对你的企业来说,什么才是最优求解方案?在AI的产品开发应用上,有哪些误区和经验,又如何实现敏捷开发?从追一的实践和探索,希望能够和大家一起分享交流。

智能管理的四个阶段

提到智能管理,可能大家首先想到的就是智能质检,这类应用与客服机器人有着本质的区别。前者是AI帮助人做数据挖掘、人机协同,后者是机器完全替代人来完成封闭场景的对话交互。

我们将智能管理的发展划分为4个阶段:

第一阶段:基于传统专家系统的智能质检。

通过关键词模版、正则表达式对客户和坐席的会话日志进行分析,生成文本质检报告;在此基础上前置一层ASR,可以为通话录音生成语音质检报告。但这类实现方式在准确率、泛化能力和运营有效性上都存在明显的瓶颈。

第二阶段:基于深度学习(语音+语义)的智能质检。

有些客户找到我们说想要更换质检系统,原因是老系统要维护关键词模版,效率低下,还容易出现漏命中、误命中的情况。这些痛点恰恰可以靠深度学习来弥补,比如用RNN实现语义理解,用CNN、RNN实现声学和文本的情感分析,用CNN、Bi-LSTM实现VAD(语音活动检测)。监督学习依赖标注数据,初始化阶段需要一定的人力投入。但长期来看AI训练师的投入会逐步递减,整体的ROI远超专家系统

第三阶段:利用自学习的运维工具,大幅提升质检引擎的运营有效性。

基于深度学习的B端产品能否取得成功,不仅取决于神经网络等底层技术,很大程度上取决于工程化、产品化和运营的成熟度。模型效果可以决定产品的下限,而运营有效性、用户体验、交付和售后服务则决定了产品的上限。

客户拿到产品后,大量的训练数据需要人工标注,规则策略需要人工编写,Badcase需要人工核查,效果调优需要人工操作。高门槛、高频的人工操作,已经成为B端AI产品的最核心痛点。为了解决这一痛点,我们做了两件事:

1、提供智能化运维工具包。

例如:数据标注、深度学习训练平台、语义快速教育、新语义发现、语义智能消歧以及模型调试等工具,尽最大可能减少维护的难度。

2、授人以鱼不如授人以渔。

将运营过程中的经验、方法论沉淀成《智能管理运营手册》,详细描述智能冷启和持续运营的5个阶段。它可以作为指导教材,帮助AI训练师有坡度、有温度地掌握工具,帮助企业牢牢守护住运维ROI。

第四阶段:事前+事中+事后的闭环智能管理解决方案。

随着企业对风控、质控的要求越来越高,事后质检很难满足时效性的需求。所以培训机器人和坐席助手两种产品形态就应运而生,它们分别补全了事前培训和事中人机协同的环节,配合智能质检覆盖了整个坐席服务的周期。

我们回顾一下智能管理的四个发展阶段:从专家系统深度学习,从穷举式运维到智能化运维,从事后质检到全周期服务管理,共发生了三次质变。

闭环化的智能管理产品

目前在智能管理方向上,绝大多数厂商处于第一阶段,第二阶段的厂商只有几家。能提供三款闭环产品 + 基于深度学习的语义理解 + 智能化运维工具包,并支持标准化交付的只有追一科技

下面分别介绍智能管理的三款产品:

1、See:智能质检

See的定位是对坐席与客户的通话录音、文本会话进行质检分析。其模块包含质检引擎、分角色的工作台(人工抽检、客服申诉、复审、训练师)和数据统计等功能。质检引擎包含12个维度的分析算子,帮助质检员实现更加精准的质控。

See的分析引擎支持十几种算子,除了关键词、正则、RNN、情绪等文本算子以外,还支持语音情绪、语速、抢话、静音等声学算子。初始化阶段会有一定的AI训练师投入,后期业务方每周只需要投入少量时间即可完成调优工作。

2、Pal:坐席助手

Pal的定位是坐席的智能助手,在电话服务过程中为客服坐席提供人机协同能力。包括合规管理、流程导航、用户画像、话术推荐、智能表单和一键直达等功能,帮助提升业务效率、降低上岗门槛,提升营销转化。

客服坐席在通话过程中会伴随大量业务操作,比如工单系统、CRM。好的产品是用完即走的,Pal如何以贴心助手的角色融入到场景中呢?我们为它设计了三种模式:隐藏模式、简单模式和完整模式。只有当坐席需要的时候,各项功能才会冒出来与坐席交互,多数情况下在后台就偷偷完成分析过程。

3、Learn:智能培训

Learn的定位是对新手或者有短板的坐席进行场景仿真练习。客服行业人员流动率非常高,传统的老带新培训模式效率较低,老员工的耐心有限,但机器人是不知疲倦的。

Learn分为学、练、考、评四个模块:

1)、学习:坐席通过教学视频、PPT等素材完成学习输入的过程。

2)、练习:坐席与机器人模拟接听、外呼等场景,反复模拟练习,直到掌握业务。

3)、考试:场景交互过程比练习模式增加了难度,去掉了提示指引。除了场景交互考题,也有选择、判断等传统题型。

4)、评分:自动化阅卷生成评分,将多维考评项合成能力脸谱,为学员指明提升路径。

以上就是三款产品的介绍,整套智能管理解决方案是一套闭环的服务。Learn在服务前帮助学员达到上岗门槛;Pal辅助坐席完成服务过程,将语音流、实时分析结果给到See做进一步的挖掘;See输出坐席画像、将优质案例和反面案例给到Learn做为课件和题目的参考素材,并根据坐席能力短板推荐课程和考题。三款产品贯穿服务的全流程,实现了数据的高效复用。

做产品创新的公司,需要主动承担起定义标准、解释标准和推广标准的责任。我们为智能管理制定了一套验收标准,包含功能模块、效果指标、用户体验等三个方面。项目实施的过程中,客户会收到详细的自测验收报告。

挑战与思考

在做产品的过程中,我们也遇到过一些挑战和思考:

(一)智能分析引擎应该依赖深度学习还是专家系统

先来看下RNN和关键词主要有哪些差异:

1、匹配模式不同

关键词是精准匹配,优势是可解释性,配置后立即生效。RNN有更强的泛化能力,局限是不可解释,无法做可控的调优(AI训练师可以凭借经验做一定的优化)。举个例子,当ASR转译出错的时候,用关键词匹配就很难正确命中。

2、数据来源和运维效率不同

关键词和正则更依赖用户对业务的理解,需要人工梳理出关键词;而RNN的训练数据主要来源于生产系统的会话日志,后期的维护效率也比关键词高1.5到2倍。

3、适用的语境不同

开头语、结束语、礼貌用语、禁用语就很适合用专家系统,例如“你好,很高兴为您服务”,这种讲话的定式很容易用正则来穷举。但像【客户表达不满】这种相对发散的语义,叙述方式灵活多变,更适用RNN来匹配。

为了分析RNN和关键词的取舍问题,我们拿实际落地的项目做了些研究。在确保质检引擎准确率≥90%的前提下,寻找效果最优的配置逻辑,不刻意偏重关键词或RNN。结果某基金公司有80%的质检规则使用RNN+关键词,10%的规则纯用关键词,10%的规则用声学算子;某新能源车企的33条质检规则都同时使用RNN和关键词;其他项目大多数规则也是两种算子共存。

所以结论是:关键词决定了质检水平下限,RNN决定了质检水平的上限。过度依赖其中的一种,都是产品不够成熟的表现,二者互相结合才能做出好的效果。

除了算子的选取,影响质检引擎效果的因素还有很多,比如分类体系、语料歧义、数据量、数据粒度、话者分离等。在讲智能管理发展阶段的时候,我提到了运营有效性和方法论。通过《智能管理运营手册》和行业数据积累,可以帮助客户完成高效的智能冷启和持续运营。

(二)如何做好语音交互的场景化?

B端产品最终也是给人用的,我们在打造智能管理的过程中,很多场景体验都按照C端的标准。

语音类产品的场景化有三个原则:

1、单场景的极致闭环:例如Pal坐席助手的5个模块有相互独立的触发条件,流程上相互照应,交互体验和谐统一。

2、跨场景的无缝衔接:例如智能管理将实时、事前和事后的三个场景衔接贯通,共用分析引擎和训练数据;质检分析结果回流到培训系统中,形成服务闭环。

3、人性化的交互体验:例如机器人的TTS播报略显生硬,如果用录音来代替,交互的感受就更有温度。同时也减少调用TTS服务的时间,还能砍掉TTS的成本;在VUI逻辑中,我们加入了容错轮次,给坐席一次重说的机会,避免了学员的尴尬。

在技术选型上,也需要忠于用户体验。对于偏流程化、目的性强的语音场景,业界一般用任务型来实现。但培训机器人和智能外呼的角色完全对调,我们反复推敲了二者的差异性,最终决定只引入任务型的设计思想,没有拿外呼的NLP方案来生搬硬套。

(三)客户对AI产品的过高期望和误解

1、客户应该对AI抱有怎样的期望?

有人提出要用机器代替人去扛营销转化率,其实营销是一门体现情商和柔性技巧的学问,连人类都未必能扛得住营销转化率。在营销场景中,机器辅助人的可落地性远远强于机器人代替人。如果一定要用Bot直接做营销,可以尽量避免过于发散的场景,截取一段相对收敛的流程用任务型来实现。

就连大家津津乐道的Alpha Go,也是挑选了收敛的围棋场景,在既定规则内最大化发挥出计算性能的优势。深度学习的根基是统计学,神经网络的抽象层级还比较浅。相比于人类,AI不具备背景常识,更没有自我意识和感情,不要苛求它去做特别深刻的逻辑推理。

2、AI技术是场景落地的主要瓶颈么?

技术实力的确是落地的核心基础,但发展到一定规模后,产品运营、后端资源、服务能力会成为商业化成功的关键。即便是拥有超强算法能力的AI巨头,也没有精力做好每个细分领域的产品。各种算法模型从实验阶段到工程化、产品化、规模化交付再到口碑运营,中间有太长的路要走。

3、如何快速验证一款深度学习产品的水平?

任何厂商都可以对外宣称自己拥有某项AI技术,但产品的落地依托于真实的投入与沉淀。很多客户都没意识到这一点,也很难分辨出厂商之间的真正差距在哪里。其实到底有没有,拉出来遛一遛就知道了。

分享个小技巧:让厂商实际操作数据标注、模型训练和模型调用的流程,证明自己有基于深度学习的智能运维工具。然后看这套工具是否跟产品系统融合统一,给到用户的交互界面是否友好。如果这些都满足,就说明产品相对成熟,技术也差不到哪里去。

4、深度学习 or 专家系统

现在有很多AI厂商过度渲染深度学习的优势,也有更多专家系统的厂商攻击深度学习冷启动周期的弊端,其实这些都是有局限性的无意义对比。比如智能管理场景的最优方案,就是通过专家系统+深度学习的多维算子叠加来实现。并不绝对依赖于某一种技术,同时也能确保运维的效率。鼓吹其中的任何一种,都是产品不成熟的表现。

5、一些训练数据或模型能否复用?

关键看场景的重合度,比如智能管理的3款产品之间有部分模型可以复用,而外呼机器人跟智能质检的模型就无法强行复用。客户想要复用模型,其本质诉求无非就是降本升效。我们假设模型真的可以复用,也就只提升了1倍的运维效率,依然无法应对业务迭代的情况,而我们提供的【新语义发现】+【快速教育】工具却可以将运维效率提升十倍以上。

6、会话轮数是不是越多越好?

会话轮数从来都不会成为考核Bot交互能力的指标。关键是多轮会话的目的是要完成一项清晰的任务,还是完成一通闲聊?如果是为了完成任务,就要将场景尽可能收敛,交互路径尽可能缩短。聊的越久,越容易出错。

(四)AI时代团队如何敏捷进化?

最后是一些关于敏捷的思考。我们团队是公司的一个产品研发小组,在18年3月上线See,6月上线Pal,9月上线Learn,12月份做出其他创新型产品,奔跑速度已经不弱于互联网公司。

快速裂变的过程中,蒙眼狂奔一定会掉链子,关键看如何坚守克制与取舍。我国的toB大环境下很难避开定制化,如何寻找标准化与定制化的平衡点呢?

这非常考验产品团队的基本功,我经常拿2个问题来挑战组员:

1、给产品做加法时,能解决人无我有的问题,还是人有我优的问题?

2、最终能获胜的凭什么是你?需要讲清楚背后的隐性逻辑

做产品必须要敢于接受直逼灵魂的拷问。这是个不缺脑暴的时代,模糊、发散的idea并不值钱。只有当我们对核心细节做到入微操控,推演出金字塔尖的东西时,才可能做出核心竞争力。

同时,敏捷进化只靠内部努力还远远不够,更需要群智效应和创造力赋能。群智效应是指业务方、厂商一起贡献智慧。创造力赋能是指价值传递过程中,给到客户的不仅是工具本身,更包含驾驭工具、探索新事物的能力。

目前AI行业竞争非常激烈,各公司的保密工作都很到位。外界对AI公司有强烈的好奇心,希望能得到业内的更多分享。AI公司也渴望通过更多合作来获取数据、打磨场景,提升业务纵深能力和规模化落地能力。

产品和业务本质上是共生关系,脱离业务的AI产品就是没有灵魂的躯壳,所以我们一直都在尝试向客户与合作伙伴传递产品理念。还是希望业务方和AI公司都持有更加开放的心态,如果大家能坐下来深入探讨,就一定能挖掘出有价值的解决方案。

追一科技
追一科技

主攻深度学习和自然语言处理,以技术之美,融合场景,共创更美好AI世界。

https://zhuiyi.ai/
产业追一科技数据挖掘深度学习
3
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

专家系统技术

专家系统(ES)是人工智能最活跃和最广泛的领域之一。专家系统定义为:使用人类专家推理的计算机模型来处理现实世界中需要专家作出解释的复杂问题,并得出与专家相同的结论。简言之,如图1所示,专家系统可视作“知识库(knowledge base)”和“推理机(inference machine)” 的结合。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

逻辑推理技术

逻辑推理中有三种方式:演绎推理、归纳推理和溯因推理。它包括给定前提、结论和规则

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

追一科技机构

追一科技成立于2016年,是国内领先的企业智能服务AI解决方案提供商,专注于深度学习和自然语言处理,以业界领先的AI技术、产品与服务,为企业提供深度的人企交互智能化解决方案,帮助企业降低人员成本、提升服务效率、优化企业运营,共创“更美好AI世界”。公司已经服务于金融、互联网、零售电商、地产等10+行业,积累了招商银行信用卡、南方基金、长江证券、阳光保险、恒大人寿等200+客户。两年间,追一科技从初期5名创始人到现在超过300位顶尖小伙伴,获得了来自顶级投资机构的天使、A、B轮融资逾2亿人民币。未来,追一科技在巩固金融、互联网和零售、生活服务等领域占有优势同时,积极拓展新兴市场领域,实现更多行业、更多场景的AI落地应用,进一步驱动研发创新和公司快速成长。 同时,与行业领军、头部客户深度战略合作,融合丰富的场景、数据与AI技术,实现深层次的AI解决方案应用,并努力实现更具普适性、拓展性的行业级AI能力。

暂无评论
暂无评论~