本論文では、大規模言語モデルの多言語における多段階推論能力を向上させるための「Cross-ToT」手法を提案している。従来の手法では、言語間の不均衡により、英語以外の言語での推論能力が限定的であった。
Cross-ToTは、Tree-of-Thoughtsのアプローチに着想を得て、異なる言語間で並行して推論プロセスを生成し、それらが自己整合的に収束していく仕組みを持つ。具体的には、以下のような流れで推論を行う:
実験の結果、Cross-ToTは従来手法と比べて大幅な性能向上を示した。特に、低リソース言語や英語以外の言語においても優れた推論能力を発揮することが確認された。
さらに、推論プロセスの分析からは、Cross-ToTが自己修正的な推論を実現できていることが明らかになった。つまり、異なる言語間の推論プロセスが相互に影響し合い、最終的な答えに収束していくのである。
本研究は、大規模言語モデルの多言語推論能力を飛躍的に向上させる重要な一歩となっている。今後は、より小規模なモデルへの適用や、さまざまなタスクへの展開が期待される。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Leonardo Ran... alle arxiv.org 04-22-2024
https://arxiv.org/pdf/2311.08097.pdfDomande più approfondite