長文理解と推論のための符号化拡張型大規模言語モデル(E2LLM)

E2LLMは、長文コンテキストの理解と推論を可能にする新しいアプローチである。長文を小さな塊に分割し、事前学習済みのテキストエンコーダーを使ってそれぞれの塊を圧縮ベクトルに変換する。そして、デコーダー型の大規模言語モデルとアダプターを使ってこれらの圧縮ベクトルを理解させる。2つの学習目的(エンコーダー出力の再構築と長文命令のファインチューニング)を使うことで、大規模言語モデルがソフトプロンプトを理解できるようになる。