本研究では、大規模言語モデル(LLM)が文脈学習を通して回帰分析を行う能力を分析した。
まず、線形回帰タスクにおいて、LLMは教師あり学習手法と同等以上の性能を発揮することを示した。例えば、Claude 3モデルは、教師あり学習手法であるランダムフォレストやグラディエントブースティングを上回る性能を示した。
次に、非線形回帰タスクにおいても、LLMは優れた性能を発揮することを明らかにした。Friedman #2などの非線形回帰ベンチマークでは、Claude 3が多くの教師あり学習手法を上回る結果となった。さらに、新たに設計した非線形回帰関数でも、LLMの高い性能が確認された。
また、LLMの性能が文脈内の例数とともに向上していくことを示した。具体的には、LLMの累積損失が時間とともに亜線形に減少することを確認した。これは、LLMが最適な戦略に近づいていることを意味する。
以上の結果から、LLMは文脈学習を通して回帰分析を行うことができ、その性能は従来の教師あり学習手法と遜色ないか、場合によっては上回ることが明らかになった。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Robert Vacar... a las arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07544.pdfConsultas más profundas