Temel Kavramlar
検索を備えた言語モデルは、信頼性、適応性、および追跡可能性を向上させる次世代の言語モデルであり、広範なタスクにおいて有益であることが示唆されています。
Özet
大規模な事前トレーニングによって獲得されたパラメーター言語モデル(LM)は柔軟性と能力を示しますが、実用的な課題に直面しています。この位置論文では、検索を補助したLMが次世代のLMとして採用されるべきであることが主張されます。検索を補助したLMは信頼性、適応性、および追跡可能性を向上させる可能性があります。しかし、これらの利点にもかかわらず、特定の知識集約型タスク以外での広範な採用は制限されています。アーキテクチャやトレーニング手法、インフラストラクチャの基本的な進歩に向けたロードマップが提案されています。
İstatistikler
大規模なWebコーパスで訓練されたパラメトリックLMは柔軟性と能力を示す。
検索を補助したLMは信頼性と適応性を向上させる可能性がある。
現在の検索を補助したLMは特定の知識集約型タスクに限定されている。
パラメトリックLMに比べて検索を補助したLMの採用は制限されている。
検索を補助したLMは大規模なデータセットから取得したテキストを統合することで信頼性と適応性を向上させる。
Alıntılar
"Retrieval-augmented LMs can largely reduce factual errors, provide better attributions, and enable flexible opt-in and out of sequences."
"Despite their considerable potential to significantly improve reliability, adaptability, and attributability, their broader adoption beyond specific knowledge-intensive tasks is currently limited."
"We urge the research community to intensify efforts aimed at overcoming those inherent limitations for their widespread adoption."