开发者学堂课程【达摩院智能语音交互 - 人机对话技术浅析:探索式人机对话】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/42/detail/960
探索式人机对话
内容介绍:
一、检索式人机对话
二、三类常用方法
三、基于 ESIM 多轮回复选择
四、DSTC 7 Track1任务介绍
五、两个数据集实例
六、ESIM 原理简介
七、ESIM 与之前的 SOTA 方法比较
一、检索式人机对话
客服聊天机器人中最常用的方法
按使用场景划分
单轮回复选择
给定单轮 query,在候选集中选择正确回复
多轮回复选择
给定多轮对话历史,在候选集中选择正确回复
两者核心的差别为:一个是给用户单轮的 query,一个为多轮的对话历史。例如常用的销售引擎,可以看作为多轮回复选择的任务。多轮回复选择通常更复杂,有一个更长的输入信息,不仅要考虑用户之前输入的信息还要考虑机器本身之前说过的信息。
下图为客户场景中多人对话的例子:
机器需要在候选答复中选出一个作为最优的答复,选择最优答复时不仅需要考虑用户当前的 query,还需要看历史对话的信息。
二、三类常用方法
基于句子编码的方法
人工特征: TF-IDF
神经网络: RNN,CNN,LSTM, BiLSTM
优点为计算速度较快
基于序列匹配的方法
MV-LSTM, Matching-LSTM, Attentive-LSTM,Multi-Channels
我们提出的 ESIM (Chen et al, 2019)
较高准确率,目前SOTA(其中提出的 ESIM 为目前最先进的模型。)
基于层级建模的方法
Multi-View, DL2R,SMN,DUA,DAM
优点为能显式建模 token-level 和 utterance-level 信息
三、基于 ESIM 多轮回复选择
·包揽两项冠军,第七届对话系统技术挑战赛(DSTC7 Track1 )
·基于序列的方法>基于层级的方法(之前论文工作的声明基于层级的方法优于基于序列的方法)
·代码开源
https://github.com/alibaba/esim-response-selection
如图在8个值任务上以显著的优势获取7个第一,以及1个第二,综合排名在两个数据中都为第一。
四、DSTC 7 Track1任务介绍
任务目标
给定多轮对话历史,在候选集中选择正确回复
规则
参赛系统不能使用基于规则的特征或系统
不能使用除了词向量以外的额外的标注或未标注预料
两个数据集
Ubuntu(规模较大,更多样化)
Advising(规模较小,更集中)
五、两个数据集实例
给定一个多轮的对话历史,模型需要从上百个候选答复中选定一个正确的答复。有的任务从一百个候选中选择,有的从上万个候选中选择,还有的任务可以使用官方提供的一些额外的知识文本。
多轮对话历史
候选回复
正确回复
六、ESIM 原理简介
一种用于句子对分类问题的主流模型,最早用于自然语言推理任务(Chen et al, 2017),自然语言推理是指模型来判断一句话是否可以推出另一句话。
三个部分
输入编码: word embedding, BiLSTM encoders
局部匹配:dot product attention, heuristic matching
匹配组合:BiLSTM,MLP classifier
七、ESIM 与之前的 SOTA 方法比较
在两个公开的大规模数据上取得了新的 SOTA
Ubuntu (Lowe et al.2015),+2.9% R@1的绝对提升(在Ubuntu 上获得了2.9%的绝对提升)
E-commerce (Zhang et al.2018),+6.9% on R@1的绝对提升









