本論文は、大規模言語モデル(LLM)の文脈学習(ICL)の性能を向上させるための新しい手法「ByCS」を提案している。
ICLは、モデルパラメータの更新なしに、対話履歴の中の少数の例示を使って新しいタスクに適応できる便利な機能である。しかし、ICLの性能は、提示される文脈例示の質に大きく依存する。
ByCSは、ベイズの定理に基づいて、テスト入力に対する逆推論確率(尤度)を利用して、良質な文脈例示を選択する手法である。逆推論確率が高い例示は、テスト入力との相互情報量が高いと考えられ、良質な例示として選択される。
ByCSは、音声、テキスト、視覚の各モダリティにわたる多様な実験で有効性と堅牢性を示した。特に、テキストのみのICLタスクでは、従来手法を上回る性能を発揮した。一方で、選択肢型の分類タスクでは、文脈情報が不足するため、ByCSの性能が劣る可能性が示された。
また、逆推論に小規模モデルを使うことで、計算コストを大幅に削減できることも確認された。
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Siyin Wang,C... : arxiv.org 04-24-2024
https://arxiv.org/pdf/2404.14716.pdfDaha Derin Sorular