Survey on Grammar Retrieval

论文调研：基于“规则、槽值”检索的口语语义理解

Su Zhu
Oct 27, 2016 2 min read review

Table of Contents

前言

在任务型的口语对话系统框架下，目前主流的口语语义理解方法主要分为基于规则、统计学习的方法。在建立一个口语语义解析器之初，领域专家或者开发者往往需要人为定义语义框架、语义槽以及符合对话场景的所有可能的槽值。基于规则的方法，则继续需要领域专家或者开发人员人为地编写、维护规则文法。基于统计学习的方法则需要数据标注人员标注大量的数据，用于有监督学习。所以现在主流的口语语义解析器的构建过程可以描述为如下几个步骤：

  1. 定义指定领域的语义表示方式
  2. 编写规则/(收集数据+人工标注)
  3. 生成模型
  4. 校验

然而其中有几大问题，使得任务型的口语义理解无法快速地构建或者领域迁移。

第一个问题是“语义表示方式的定义”。目前绝大多数的方法都使用意图+槽值对的方式来表示一句话的语义。这样简单的设计对于单个领域或者应用是非常高效的，然而对于领域扩展、迁移却并不友好。比如天气领域中有语义槽“city”，机票领域中有语义槽“Fromcity”和“Tocity”，这三个语义槽在这种扁平化的设计里是属于同一层次的，然而这并不符合人类语言现象。是否改为“city”、“from.city”、“to.city”会好一点呢？那么有层次的语义槽设计具体应该是怎样的呢？

第二个问题是“规则编写”和“数据标注”。数据收集和数据标注是非常耗费人力和财力的，而相比之下规则编写要轻松一些。然而目前人工编写规则有如下主要缺点：第一，人力消耗大；第二，难维护；第三，难移植到新领域。所以我们是否可以自动生成规则？是否可以提升规则系统的易维护性？是否可以实现规则的跨领域移植？

那为什么我们选择基于规则检索的方法做口语义理解？原因之一是基于规则方法的可控性要高于数据驱动的基于统计学习的方法（加入一条新规则比加入一类新数据且重训模型要可控）；更重要的是语义规则是一种高层知识的体现，是很难直接从有限的数据中学习到。为此，我们希望从从基于规则的方法出发，力图解决上述几个问题，实现“开放式、可扩展”的口语语义理解。

论文调研

调研方向

  • 规则生成
  • 规则检索
  • 语义表示
  • 语义项自动导出
  • 规则与统计方法相结合

调研方式

已知的语义库

  • FrameNet/PropBank/AMR
  • Freebase

google搜索

关键词

  • grammar/rule/template retrieval [+semantic]
  • semantic representation

会议期刊论文集

近三年相关论文，搜索关键词为:retrieval/rule/grammar/slot/semantic_representation

  • Interspeech/ICASSP/ASRU/SLT/Sigdial
  • ACL/EMNLP/COLING/NAACL
  • TASLP
  • AAAI/NIPS

文章汇总

规则生成

  • SemEval-2014 Task 2: Grammar Induction for Spoken Dialogue Systems. SemEval 2014.
  • SAIL-GRS: Grammar Induction for Spoken Dialogue Systems using CF-IRF Rule Similarity. SemEval 2014.
  • tucSage: Grammar Rule Induction for Spoken Dialogue Systems via Probabilistic Candidate Selection. SemEval 2014.
  • Web Data Harvesting for Speech Understanding Grammar Induction. Interspeech 2013.
  • Using Lexical, Syntactic And Semantic Features For Non-terminal Grammar Rule Induction In Spoken Dialogue Systems. SLT 2014.
  • Fusion Of Knowledge-based And Data-driven Approaches To Grammar Induction. Interspeech 2014.
  • Semi-automatic Acquisition Of Domain-specific Semantic Structures. EuroSpeech 1999.
  • Semiautomatic acquisition of semantic structures for understanding domain-specific natural language queries. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, 2002.

规则检索

  • Information Retrieval Techniques in Rule-based Expert Systems. CDAKO 1991.
  • A Continuous Space Rule Selection Model for Syntax-based Statistical Machine Translation. ACL 2016.
  • Rule Selection with Soft Syntactic Features for String-to-Tree Statistical Machine Translation. EMNLP 2015.

语义表示

  • Spoken language understanding. IEEE Signal Processing Magazine 2005.
  • Spoken Language Understanding-Interpreting the signs given by a speech signal. IEEE Signal Processing Magazine 2008.
  • A SURVEY ON ONTOLOGY CONSTRUCTION METHODOLOGIES. ECBS 2011.
  • Semantic Representation.
  • De-Conflated Semantic Representations.
  • A Domain-independent Rule-based Framework for Event Extraction.
  • Generating Natural Language Descriptions for Semantic Representations of Human Brain Activity.
  • Machine Comprehension using Rich Semantic Representations.

语义项自动导出

  • Unsupervised Induction And Filling Of Semantic Slots For Spoken Dialogue Systems Using Frame-semantic Parsing. ASRU 2013.
  • Leveraging Frame Semantics And Distributional Semantics For Unsupervised Semantic Slot Induction In Spoken Dialogue Systems. SLT 2014.
  • Dynamically Supporting Unexplored Domains In Conversational Interactions By Enriching Semantics With Neural Word Embeddings. SLT 2014.
  • Matrix Factorization with Knowledge Graph Propagation for Unsupervised Spoken Language Understanding. ACL 2015.

统计+规则

  • Harnessing Deep Neural Networks with Logic Rules. ACL 2016.
  • Semantic Parsing using Distributional Semantics and Probabilistic Logic. The ACL 2014 Workshop on Semantic Parsing.