Core Concepts
大規模言語モデルを使用して、3GPP標準の関連情報をより迅速に参照できる。
Abstract
本論文では、3GPP標準の参照ツールとしての大規模言語モデルの活用可能性を評価しています。
まず、ベンチマークデータセットTeleQuADを使用して、GPT-3.5-Turbo、GPT-4、LLaMA-2、Falconなどの大規模言語モデルの性能を評価しました。その結果、TeleRoBERTaとFalcon 180Bが最も高い正答率を示しました。
一方で、技術用語の誤認、表形式データの処理困難、文書間の相互参照の追跡困難など、大規模言語モデルにはいくつかの課題が見られました。
そこで、3GPP文書の前処理と、ラベル付きデータセットを使用したファインチューニングを行いました。その結果、パフォーマンスが約16%向上し、パラメータ数の少ない小規模モデルでも大規模モデルと同等の性能が得られることが示されました。
本研究の成果は、3GPP標準のみならず、他の通信分野の標準文書の参照支援にも活用できると考えられます。今後は、現場保守、ネットワーク運用、ソフトウェア開発など、さまざまな用途での活用が期待されます。
Stats
3GPP リリース間のトークン数の増加は、関連情報の検索を困難にしている。