Self-Mem | Notion

Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory

Authors: Xin Cheng ; Di Luo ; Xiuying Chen ; Lemao Liu ; Dongyan Zhao ; Rui Yan

Summary: With direct access to human-written reference as memory, retrieval-augmented generation has achieved much progress in a wide range of text generation tasks. Since better memory would typically prompt better generation~(we define this as primal problem). The traditional approach for memory retrieval involves selecting memory that exhibits the highest similarity to the input. However, this method is constrained by the quality of the fixed corpus from which memory is retrieved. In this paper, by exploring the duality of the primal problem: better generation also prompts better memory, we propose a novel framework, selfmem, which addresses this limitation by iteratively employing a retrieval-augmented generator to create an unbounded memory pool and using a memory selector to choose one output as memory for the subsequent generation round. This enables the model to leverage its own output, referred to as self-memory, for improved generation. We evaluate the effectiveness of selfmem on three distinct text generation tasks: neural machine translation, abstractive text summarization, and dialogue generation, under two generation paradigms: fine-tuned small model and few-shot LLM. Our approach achieves state-of-the-art results in four directions in JRC-Acquis, XSum (50.3 ROUGE-1), and BigPatent (62.9 ROUGE-1), demonstrating the potential of self-memory in enhancing retrieval-augmented generation models. Furthermore, we conduct thorough analyses of each component in the selfmem framework to identify bottlenecks and provide insights for future research.

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是现有检索增强型文本生成模型中存在的一个根本性限制：记忆（memory）的有限性。在传统的检索增强型文本生成任务中，模型通常从一个固定的语料库中检索与输入文本最相似的记忆（memory），然后基于这些记忆生成目标文本。然而，这种方法受限于固定语料库的质量，导致生成模型的潜力受到限制。

为了克服这一限制，论文提出了一个新的框架——Selfmem，它通过迭代地使用检索增强型生成器创建一个无界的内存池，并使用内存选择器（memory selector）从生成的候选池中选择一个输出作为下一轮生成的记忆。这种方法允许模型利用自己的输出（即自记忆，self-memory）来改进生成过程。通过结合生成（primal problem）和记忆选择（dual problem），Selfmem框架能够通过模型自身的输出提升自己，从而在多个文本生成任务中实现更好的性能。

Q: 有哪些相关研究？

A: 相关研究主要集中在以下几个领域：

检索增强型文本生成（Retrieval-Augmented Text Generation）：
- 在机器翻译（NMT）领域，研究者们探索了如何通过检索训练集中的记忆来增强翻译质量。例如，使用搜索引擎从训练集中检索记忆并与外部记忆网络结合。
- 在对话生成任务中，研究者们利用示例/模板检索作为生成信息性回应的中间步骤。
- 在抽象性文本摘要任务中，研究者们通过检索相关文档来辅助生成摘要。
神经文本重排序（Neural Text Reranking）：
- 为了缓解训练和推理之间的差异（即曝光偏差），研究者们提出了两阶段重排序方法，这些方法在机器翻译、句法解析和文本摘要等领域取得了显著进展。
- 这些方法通常包括一个基础生成器和一个重排序器，后者根据特定指标（如BLEU、ROUGE等）选择最佳输出。
大型语言模型（Large Language Models, LLMs）：
- 研究者们探讨了如何利用大型预训练语言模型（如GPT-4）进行少样本（few-shot）学习，通过在上下文中提供示例来引导模型生成。
记忆选择（Memory Selection）：
- 在检索增强型生成模型中，研究者们提出了各种记忆选择策略，包括基于稀疏检索和密集检索的方法，以及从句子级记忆到更细粒度的标记级记忆。
生成模型的自适应和优化：
- 研究者们致力于开发能够根据输入动态调整生成策略的模型，例如通过自适应学习率、注意力机制和生成策略。
评估和分析：
- 在文本生成领域，研究者们开发了多种评估指标和分析工具，如BLEU、ROUGE、TER等，以及对生成文本的频率分析和人类评估。

这些相关研究为Selfmem框架提供了理论基础和技术支持，同时也展示了文本生成领域在检索增强、重排序、大型模型应用和评估方法等方面的广泛探索。

Q: 论文如何解决这个问题？

A: 论文提出了一个名为Selfmem的框架来解决检索增强型文本生成模型中记忆有限性的问题。Selfmem框架的核心思想是利用模型自身的输出（自记忆）来提升生成质量。具体来说，Selfmem框架包含两个主要组件：

检索增强型生成器（Retrieval-Augmented Generator）：
- 这个组件负责根据输入文本和检索到的记忆生成目标文本。它可以通过两种方式实现：一种是微调一个小模型，另一种是使用大型语言模型（LLM）进行少样本提示。生成器在生成过程中会产生多个候选输出。