A Neural Attention Model for Abstractive Sentence Summarization
- Alexander M. Rush et al., Facebook AI Research/Harvard
- EMNLP2015
- sentence level
- seq2seq模型在2014年提出，这篇论文是将seq2seq模型应用在abstractive summarization任务上比较早期的论文。同组的人还发表了一篇NAACL2016（Sumit Chopra, Facebook AI Research_Abstractive sentence summarization with attentive recurrent neural networks）（作者都差不多），在这篇的基础上做了更多的改进，效果也更好。这两篇都是在abstractive summarization任务上使用seq2seq模型的经典baseline。
- 目标函数是negative log likelihood，使用mini-batch SGD优化
本文提出了3种encoder，重点在于Attention-based encoder
- bag-of-words encoder
- Conv encoder: 参考TextCNN，没有做过多的其他改动
- Attention-based encoder:
x: 原始文本
y_c: 上下文单词（已经输出的摘要内容）
- 生成摘要使用Beam Search算法
- 本模型效果并不让人满意
性能(ABS)
- DUC-2004: Rouge-1:26.55/Rouge-2:7.06/Rouge-L:22.05
- Gigaword: Rouge-1:30.88/Rouge-2:12.65/Rouge-L:28.34
