本研究は、文章外分布検出の課題に取り組むため、変分推論フレームワークVI-OODを提案している。従来の手法は条件付き尤度p(y|x)の最大化に焦点を当てていたが、これでは学習された表現がID分類タスクに偏りがちであり、外分布検出に有効な情報を見落とす可能性がある。
VI-OODでは、入力xと出力yの結合分布p(x,y)の最大化を目的とする。これにより、ID分類に直接関係しない情報も活用できるようになり、より効果的な潜在表現が得られる。具体的には、変分推論の枠組みを活用し、Transformerの中間層の隠れ状態を動的に組み合わせることで、文章データの特性を考慮した表現を学習する。
実験では、エンコーダ型およびデコーダ型のTransformerアーキテクチャを用いて、様々な文章分類タスクにおいて提案手法の有効性を確認している。特に、マハラノビス距離などの距離ベースの外分布検出手法の性能を大幅に向上させることができる。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Li-Ming Zhan... at arxiv.org 04-10-2024
https://arxiv.org/pdf/2404.06217.pdfDeeper Inquiries