本研究では、SOCIALITE-LLAMAと呼ばれる指示チューニングされたLLAMA2モデルを開発し、20種類の社会科学NLPタスクと6種類の関連タスクで評価を行った。
まず、20種類の社会科学NLPタスクを5つの大カテゴリ(ユーモア、攻撃性、感情と感情価、信頼性、その他の社会的要因)に分類し、それぞれのタスクに対して手作業で指示を作成した。これらのタスクデータとともに、LLAMA2モデルを指示チューニングすることで、SOCIALITE-LLAMAを構築した。
評価の結果、SOCIALITE-LLAMAはLLAMA2に比べて、ゼロショットおよびフューショット設定の両方で20種類の既知タスクすべてにおいて性能が向上した。さらに、6種類の関連タスクのうち5つでも性能が向上した。特に、感情や感情価、攻撃性関連のタスクで大きな改善が見られた。これは、指示チューニングによって社会的理解が向上したことを示唆している。
また、SOCIALITE-LLAMAは、既存の最先端の多タスクファインチューニングモデルDEBERTAと比較しても、多くのタスクで同等以上の性能を発揮した。これは、指示チューニングが効果的であることを示している。
ただし、本研究には限界もある。評価した関連タスクは既知タスクと意味的に近いものに限定されており、より異なるタスクでの一般化性は不明である。また、より大規模なモデルやデータを用いた検討が必要だろう。
To Another Language
from source content
arxiv.org
Djupare frågor