建立研究模型并进行情境化的模型更具挑战性，但这对于未来的发展至关重要。Facebook AI 近日在其的领域取得了长足的进步，研究团队采用了该机构的增强检索生成（RAG）架构，该架构是将信息检索组件（Facebook AI 的密集通道检索系统）与 seq2seq 生成器（Facebook AI 的双向和自动）结合在一起的端到端可区分模型 -回归变压器 [BART] 模型）。与最大的预训练 seq2seq 语言模型相比，RAG 可以在知识密集型下游任务上进行微调，以实现最新的结果。同时，与这些预先训练的模型不同，RAG 的内部知识可以轻松地随时更改或补充，从而使研究人员和工程师可以控制 RAG 知道和不知道的内容，而无需浪费时间或计算重新训练整个模型的能力。