แนวคิดหลัก
提案されたLLMアンサンブルアルゴリズムは、複数のLLMの出力を組み合わせて属性値抽出を最適化し、理論的に最適であり、効率性、収束速度、および展開の安全性に優れています。
บทคัดย่อ
この論文では、Eコマース製品属性値抽出のための革新的なアンサンブル方法であるLLM-ensembleが紹介されています。異なるLLMの出力を組み合わせることで、重みを動的に学習しラベルを集約することで、理論的に最適性を実現しています。Walmartの内部データセット上で最先端のLLMと比較実験を行った結果、LLM-ensembleメソッドはすべての個々のLLMよりも優れたパフォーマンスを示しました。この手法がプロダクションモデルに導入されたことで、Gross Merchandise Volume(GMV)、Click-Through Rate(CTR)、Conversion Rate(CVR)、Add-To-Cart Rate(ATC)が顕著に向上しました。
สถิติ
Walmart-Age: 0.956
Walmart-Gender: 0.979
Logistic regression: 0.653, 0.681
Rule-based method: 0.710, 0.759
Llama2-13B: 0.753, 0.798
Llama2-70B: 0.887, 0.910
PaLM-2: 0.875, 0.894
GPT-3.5: 0.911, 0.933
GPT-4: 0.934, 0.952
คำพูด
"Recent advancements in the field of NLP have seen the emergence of Large Language Models (LLMs), which have shown exceptional performance in a variety of NLP tasks."
"Our proposed LLM-ensemble achieves the best performance compared to all other baseline models."
"The practical application of this method in production models has notably enhanced Gross Merchandise Volume (GMV), Click Through Rate (CTR), Conversion Rate (CVR), and Add-To-Cart Rate (ATC)."