AI怎么知道人类对话在说什么？微软研究团队告诉你

最近，微软的研究团队通过研究上下文建模提出了一种新方法。这种方法使得人工智能模型能够通过上下文历史重写会话中的最后一个单词。那么，这是什么样的研究方法呢？KYLE WIGGERS对此做了详细介绍。在一篇预先发表的论文中，微软研究团队详细描述了他们的工作——为开放领域对话进行无监督的上下文重写。

他们声称他们的实验结果在重写质量和多轮响应生成方面达到了最新的基准。

正如研究人员所解释的那样，对话语境带来了句子建模中所没有的挑战，如话题转换、常见引用(如他、她、it、他们的同类)和长期依赖。大多数系统通过在最后一段添加关键词或者使用人工智能模型学习数字来解决这些问题。然而，这种方法经常遇到障碍，例如不能选择正确的关键词和处理较长的上下文。

此时，微软研究团队的方法已经到位。它通过考虑上下文信息来改写对话的最后一句。这样做是为了产生一个独立的话语，既不相互参照，也不依赖于过去对话的其他话语。

例如，如果你说，“我讨厌喝咖啡。-为什么？太好吃了。”你为什么讨厌喝咖啡？味道很好。”，其中借用了“它”和“为什么”。其中，“它”指对话中提到的咖啡，“为什么”是“你为什么讨厌喝咖啡”的缩写。

作为回应，研究人员设计了一个机器学习系统——上下文重写网络，CRN)，以实现端到端的过程自动化。该系统由序列到序列模型组成，该模型可以将固定长度的话语映射到固定长度的重写句子。此外，它还有一个独立的注意机制，可以帮助它在最终话语中通过不同的词语从语境中复制词语。

那么，这个系统是如何设计的呢？

首先，微软研究团队用虚拟数据训练模型，这些虚拟数据是通过提取上下文关键词并将这些关键词插入到原始对话的最后一个单词中而生成的。然后，为了让最终的反应影响重写过程，他们使用强化学习将系统推向目标。

在一系列实验中，该团队评估了他们的方法在几个重写质量、多轮响应生成、多轮响应选择和基于端到端检索的任务中的应用。他们注意到，由于他们的模型更倾向于从上下文中提取更多的单词，因此在强化学习后，该模型偶尔会变得不稳定，然而，它也显著提高了话语的多样性。

微软研究小组认为，他们的工作是朝着更容易解释和更容易控制上下文建模迈出的一步。此外，研究团队还表示，他们的模型可以从嘈杂的语境中提取重要的关键词，然后将这些关键词插入到最终的话语中，这不仅便于控制和解释，还有助于将信息直接传递到最终的话语中。

这篇文章是由KYLE WIGGERS在venturebeat上发表的一篇文章汇编而成的。