半パラメトリックトークンシーケンス共同監督

Core Concepts

言語モデルの訓練方法において、半パラメトリックなトークンシーケンス共同監督を導入し、従来の次のトークン予測損失と非パラメトリックなシーケンス埋め込み空間で計算される次のシーケンス予測損失の両方から監督を受けることで、一貫して優れた性能を発揮することが示されました。

Abstract

半パラメトリックなトークンシーケンス共同監督は、言語モデルを訓練する新しい手法であり、従来の次のトークン予測損失と次のシーケンス予測損失から同時に監督を受けます。
実験では、この共同監督によって訓練されたモデルが個別に訓練されたモデルよりも一貫して優れた性能を示すことが確認されました。
具体的な実装詳細や実験結果は論文内で詳しく説明されています。
Abstract

言語モデルを半パラメトリックな方法で訓練する新しい手法を紹介します。
この手法は、従来の次のトークン予測損失と非パラメトリックな次のシーケンス予測損失から同時に監督を受けることで言語モデルを訓練します。
Introduction

言語モデルは通常、次のトークン予測（NTP）を通じて訓練されます。
本作業では、半パラメトリックな方法で言語モデルの能力向上を目指しています。
Semiparametric Token-Sequence Co-Supervision

次のトークン予測（NTP）について再考します。
次に、非パラメトリックなシーケンス埋め込み空間へ拡張した次のシーケンス予測（NSP）について探求します。
最後に、半パラメトリックなトークンシーケンス共同監視法を導入し、両方から監視する方法について紹介します。

Co-Supervision

半パラメトリックな方法で言語モデル（Gen）を訓練する新しいアプローチです。
LNTPおよびLNSPから得られる両方から得られる教育がGen全体に流れます。

Stats

データ抽出：「10情報探索用データセット」、「平均14.2％性能向上」

Quotes

"特筆すべき点は、半パラメトリックな方法で訓練されたモデルが個別に訓練されたものよりも一貫して優れた性能を発揮することです。"

Key Insights Distilled From

Semiparametric Token-Sequence Co-Supervision

by Hyunji Lee,D... at arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.09024.pdf

Deeper Inquiries

どうして異なる事前学習LM（GPT2-large, TinyLlama, Llama2 7B）がEmbseqへ影響するか？

異なる事前学習言語モデル（LM）を使用してEmbseqを構築すると、その特定の分布が全体的なパフォーマンスに影響を与えます。実験結果からわかるように、Llama2-7Bは最高のパフォーマンスを示しました。これは、各事前学習言語モデル固有の分布がモデルトレーニングやパフォーマンスに影響を及ぼすことを示唆しています。半共同教育中では、GenとEmbseqが同じモデルから派生しており、同じ分布を共有しているため、トレーニングとパフォーマンスの最適化において重要性が強調されます。

どういう影響があるか？LNTP計算時に系列上でマスキングしない場合

LNTP計算時に系列上でマスキングしない場合、Genは自身の非常識知識（ロングテール知識）不足時に外部知識へ依存する傾向があります。このようなケースでは、「記憶」よりも「取得した知識」へ依存しやすくなります。Mallenら（2022年）の研究結果も支持されており、情報不足時には模倣力模型は取得した知識へ依存しやすくなります。LNTP計算中系列上でマスク処理せず行った場合、「コンテクスト知識」 tend to encode the context knowledge in its parameters. This leads to a reduced reliance on retrieved knowledge and more on its own knowledge.

重みλ（λ= {10^-1, 10^-2, 10^-3}）変化した際のNTP + NSP の平均性能へ与える影響

重みλ ({10^-1, 10^-2, 10^-3}) を変更することで次元空間内でバランス感覚させ，それら二つ空間間相互作用効率的利用可能です．我々設定下，一つ生成モデル Gen 受け入れ半共同教育 LNTP よ NNSP 同等流れします．このウェイト λ 次元空間両方監督からオプティマイズ パラメーター パラメーソフトウェア 性能多数指標．Figure5 (numbers in Table14 in the Appendix) 示す λ = {0.01} 結果貧弱回収性能，挑戦把握安定非参数シーケン ス埋め込み空間．また λ = {0.1} 場合，生成 能力 tend to decline ，提案形成良好 parametric token embedding space 。以上解析強認 監督两つ埋め込み空 間バラン スペース 最適 化 効率 的 パフォー マン ス across various metrics .