メールの自動分類のためのコサイン類似度を活用した効率的なデータセット作成

核心概念

コサイン類似度を活用することで、GPTモデルの微調整に必要なデータセットサイズを最小限に抑えることができる。

要約

本記事では、Agodaにおけるメール自動分類の取り組みについて説明しています。

Agodaでは、毎日約50,000通のサプライヤーや顧客からのメールを受け取っており、これらのメールを効率的に分類することが重要です。GPTモデルを活用することで、メールを特定のクラスに分類することができるようになりましたが、高精度を達成するためには適切なデータセットの準備が課題となっていました。

そこで、Customer Experience Group (CEG) Automationチームは、コサイン類似度を活用することで、GPTモデルの微調整に必要なデータセットサイズを最小限に抑える手法を開発しました。具体的には、各クラスの理想的な表現ベクトルを作成し、クラス間の類似度を計算することで、必要最小限のデータセットサイズを見積もることができます。

この手法を実際のキャンセル料免除リクエストの分類タスクに適用した結果、データセットサイズを最大30%削減できることが分かりました。これにより、QA工数の大幅な削減が可能となり、迅速なデジタルコミュニケーションの自動化に貢献できると期待されます。

統計

「Waiver Approved」と「Waiver Denied」のクラスで全体の処理率は85%に達した
「Waiver Approved」と「Waiver Denied」のクラスの正解率は90%以上を達成した

引用

「GPTモデルの微調整には適切なデータセットの準備が課題となっていた」
「コサイン類似度を活用することで、必要最小限のデータセットサイズを見積もることができる」
「この手法を適用した結果、データセットサイズを最大30%削減できた」

抽出されたキーインサイト

How We Leverage Cosine Similarity for Fine-Tuning Dataset Estimation

by Agoda Engine... 場所 medium.com 05-07-2024

https://medium.com/agoda-engineering/how-we-leverage-cosine-similarity-for-fine-tuning-dataset-estimation-bba361703365

深掘り質問

コサイン類似度以外の手法を組み合わせることで、さらなる精度向上は期待できるか?

コサイン類似度以外の手法を組み合わせることで、さらなる精度向上が期待されます。例えば、TF-IDFやWord2Vec、GloVeなどの他のテキストを数値に変換する手法を組み合わせることで、より多角的な視点からテキストの比較を行うことが可能です。これにより、より豊富な情報を取り入れてモデルを最適化し、精度を向上させることができます。

クラス間の類似度が高い場合、どのような対策が考えられるか?

クラス間の類似度が高い場合、いくつかの対策が考えられます。まず、より多くのデータを収集して、微妙な違いを学習させることが重要です。また、より高度なテキスト埋め込み手法を使用して、意味論的な違いをより正確に捉えることができます。さらに、クラス間の微妙な違いを強調するために、他の特徴量やアルゴリズムを組み合わせることも有効です。

本手法をほかのタスク(例えば顧客サポートの自動化)にも応用できるか?

本手法は他のタスクにも応用可能です。例えば、顧客サポートの自動化においても、同様の手法を使用して、顧客の問い合わせを適切なカテゴリに自動的に分類することができます。テキストの意味やコンテキストを捉えるためのテキスト埋め込みやコサイン類似度の活用は、さまざまな自然言語処理タスクに適用可能であり、効果的な自動化を実現するのに役立ちます。