Основные понятия
遅い相互作用モデルのマッチングメカニズムとトークン剪定に関する研究結果を分析しました。
Статистика
ドキュメント頻度とIDF値に基づくドキュメントおよびクエリトークンプルーニング手法が提案されました。
Цитаты
"Late-interaction models require to use all token embeddings to represent documents, leading to a significant increase in storage requirements and a decrease in efficiency."
"ColBERT allows the sum-of-max operation to interact with any document tokens, but the document tokens which also appear in the query still obtain much higher attention scores."