Posts

Table of Contents 口语理解基本概念 语义表达 语义框架 对话动作 本体 口语理解的不确定性问题 口语理解算法前沿 规则口语理解方法 统计方法 对齐与非对齐数据 对齐数据与传统统计模型 非对齐数据与传统统计模型 深度学习方法 口语理解中的不确定性建模 上下文建模及领域自适应 基于对话上下文的口语理解 口语理解中的领域自适应与扩展 多领域的领域自适应 领域扩展 尚未解决的问题 语义表示的设计 语义解析和语音识别的联合优化 口语理解的领域迁移技术 参考文献：

2017鸡年第一波论文阅读总结及推荐 引 本次推荐论文如下： Structured prediction models for RNN based sequence labeling in clinical text. EMNLP 2016. Sentence rewriting for semantic parsing. ACL 2016. Adversarial training methods for semi-supervised text classification.

Table of Contents 前言 论文调研 调研方向 调研方式 文章汇总 前言 在任务型的口语对话系统框架下，目前主流的口语语义理解方法主要分为基于规则、统计学习的方法。在建立一个口语语义解析器之初，领域专家或者开发者往往需要人为定义语义框架、语义槽以及符合对话场景的所有可能的槽值。基于规则的方法，则继续需要领域专家或者开发人员人为地编写、维护规则文法。基于统计学习的方法则需要数据标注人员标注大量的数据，用于有监督学习。所以现在主流的口语语义解析器的构建过程可以描述为如下几个步骤： 定义指定领域的语义表示方式 编写规则/(收集数据+人工标注) 生成模型 校验 然而其中有几大问题，使得任务型的口语义理解无法快速地构建或者领域迁移。 第一个问题是“语义表示方式的定义”。目前绝大多数的方法都使用意图+槽值对的方式来表示一句话的语义。这样简单的设计对于单个领域或者应用是非常高效的，然而对于领域扩展、迁移却并不友好。比如天气领域中有语义槽“city”，机票领域中有语义槽“Fromcity”和“Tocity”，这三个语义槽在这种扁平化的设计里是属于同一层次的，然而这并不符合人类语言现象。是否改为“city”、“from.city”、“to.city”会好一点呢？那么有层次的语义槽设计具体应该是怎样的呢？ 第二个问题是“规则编写”和“数据标注”。数据收集和数据标注是非常耗费人力和财力的，而相比之下规则编写要轻松一些。然而目前人工编写规则有如下主要缺点：第一，人力消耗大；第二，难维护；第三，难移植到新领域。所以我们是否可以自动生成规则？是否可以提升规则系统的易维护性？是否可以实现规则的跨领域移植？ 那为什么我们选择基于规则检索的方法做口语义理解？原因之一是基于规则方法的可控性要高于数据驱动的基于统计学习的方法（加入一条新规则比加入一类新数据且重训模型要可控）；更重要的是语义规则是一种高层知识的体现，是很难直接从有限的数据中学习到。为此，我们希望从从基于规则的方法出发，力图解决上述几个问题，实现“开放式、可扩展”的口语语义理解。 论文调研 调研方向 规则生成 规则检索 语义表示 语义项自动导出 规则与统计方法相结合 调研方式 已知的语义库 FrameNet/PropBank/AMR Freebase google搜索 关键词

Language to Logic Form with Neural Attention 作者 Li Dong, Mirella Lapata li.dong@ed.ac.uk, mlap@inf.ed.ac.uk 单位 Institute for Language, Cognition and Computation School of Informatics, University of Edinburgh 10 Crichton Street, Edinburgh EH8 9AB

论文推荐：zero-shot learning for SLU 引 在传统的口语语义理解中，我们往往都是在一个预先定义好的对话领域（predefined domain）内进行研究，比如领域专家或者开发人员在“航班”领域中定义语义槽（slot）“出发城市”、“出发时间”等，以及每个slot可能对应的值（“出发城市”——“北京，上海，…”、“出发时间”——“上午八点，下午两点，…”等）。 即使假设我们可以负担的起对一个新领域的快速定义（定义用户意图、语义槽值等语义框架），如果我们计划使用有监督学习的方法训练一个语义解析器，那还需要足量的标注数据，比如在“航班”领域中有标注数据——“从[北京:from.city]去[上海:to.city]的机票”。但是，获取大量的标注数据是十分的耗时且人力成本很高的。所以zero-shot learning的原理被引入到SLU中，旨在利用少量甚至数量为零的训练数据得到一个覆盖所有领域内语义项的语义解析器。 zero-shot learning的定义：学习分类器 \(f : X \rightarrow Y \)，其中语义类别\(Y\)并没有在训练数据中出现过。即zero-shot learning的目标是为没有观察的标签学习相应的模型。 关于zero-shot learning for SLU的推荐论文如下： Online Adaptative Zero-shot Learning Spoken Language Understanding Using Word-embedding.