本論文は、自然言語処理におけるテキスト埋め込みの解釈可能性問題に取り組む、CQG-MBQAと呼ばれる新しいフレームワークを提案しています。
テキスト埋め込みは、テキストを意味的なベクトル表現に変換するもので、自然言語処理の多くのタスクにおいて重要な役割を果たしています。従来のブラックボックス型モデルは高品質な埋め込みを生成できますが、解釈可能性が不足しているため、透明性を必要とするタスクへの適用が制限されています。
CQG-MBQAは、解釈可能な次元として質問を用いることで、テキスト埋め込みの解釈可能性を高めることを目指しています。このフレームワークは、質問生成と質問応答の2つのフェーズで構成されています。
CQG(Contrastive Question Generation)と呼ばれる新しい手法を用いて、高品質で識別性の高い質問を生成します。CQGは、事前学習済みテキスト埋め込みモデルと生成LLMを活用し、正例、困難な負例、容易な負例のサンプルを用いた対照学習の原則に基づいて質問を生成します。
生成された質問に対する回答は、テキストの埋め込みベクトルを形成します。しかし、LLMを用いて大規模なデータセットに対して質問応答を行うのは、時間とコストの面で現実的ではありません。そこで、コスト効率の高い代替手段として、MBQA(Multi-task Binary Question Answering)モデルを提案しています。MBQAは、マルチタスク二値分類モデルであり、少数のテキストに対するLLM生成回答を用いて学習されます。
STS、検索、クラスタリングという3つの主要なテキスト埋め込みのダウンストリームタスクに関する実験を行い、CQG-MBQAの有効性を検証しました。
CQG-MBQAは、SimCSEやSBERT(New)などの高度なデンス埋め込みモデルに匹敵する埋め込み品質を達成しながら、解釈可能性を維持していることが示されました。
CQG-MBQAは、QAEmb-MBQAと比較して、埋め込みの解釈に必要な認知負荷が大幅に低いことがわかりました。これは、CQGがより多くの「いいえ」の回答とより少ない「はい」の回答を生成するため、埋め込みの解釈が容易になるためです。
CQGは、約3,000問の質問で高品質で識別性の高い埋め込みを生成できることが実証されました。これは、埋め込み品質と解釈可能性のバランスを、過剰な数の質問なしに達成できることを示しています。
二値分類の閾値τを調整することで、埋め込み品質と解釈可能性のバランスを調整できることがわかりました。τを大きくすると解釈可能性は向上しますが、埋め込み品質は低下します。
CQG-MBQAは、体系的にバイナリ質問を作成し、その回答を解釈可能な埋め込み次元として使用することで、解釈可能な意味テキスト埋め込みを生成するための新しい汎用フレームワークです。CQG-MBQAは、従来のブラックボックス型モデルに匹敵する性能を維持しながら、解釈可能性を高めることができるため、透明性と説明責任が求められる自然言語処理アプリケーションに適しています。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問