本論文では、3GPP標準の参照ツールとしての大規模言語モデルの活用可能性を評価しています。
まず、ベンチマークデータセットTeleQuADを使用して、GPT-3.5-Turbo、GPT-4、LLaMA-2、Falconなどの大規模言語モデルの性能を評価しました。その結果、TeleRoBERTaとFalcon 180Bが最も高い正答率を示しました。
一方で、技術用語の誤認、表形式データの処理困難、文書間の相互参照の追跡困難など、大規模言語モデルにはいくつかの課題が見られました。
そこで、3GPP文書の前処理と、ラベル付きデータセットを使用したファインチューニングを行いました。その結果、パフォーマンスが約16%向上し、パラメータ数の少ない小規模モデルでも大規模モデルと同等の性能が得られることが示されました。
本研究の成果は、3GPP標準のみならず、他の通信分野の標準文書の参照支援にも活用できると考えられます。今後は、現場保守、ネットワーク運用、ソフトウェア開発など、さまざまな用途での活用が期待されます。
Іншою мовою
із вихідного контенту
arxiv.org
Ключові висновки, отримані з
by Athanasios K... о arxiv.org 04-05-2024
https://arxiv.org/pdf/2404.02929.pdfГлибші Запити