Основные понятия
大規模言語モデルを用いたVerillogコード生成の性能を向上させるため、設計の複雑さに応じて専門化された複数の言語モデルを統合したアーキテクチャを提案する。
Аннотация
本研究では、Verillogコード生成のための大規模言語モデルの性能を向上させるため、新しい多専門家アーキテクチャ(MEV-LLM)を提案している。このアーキテクチャでは、設計の複雑さに応じて分類された複数のデータセットを用いて個別に最適化された言語モデルを統合している。
具体的には以下の通りである:
- 設計の複雑さに応じて4つのカテゴリ(基本、中級、上級、エキスパート)に分類されたデータセットを作成した。各カテゴリのデータにはさらに詳細な説明が付与されている。
- 複雑さ分類器モデルを用いて入力プロンプトの複雑さを判定し、適切な専門家モデルを選択する。
- 4つの専門家モデルをそれぞれ対応するカテゴリのデータで個別に最適化している。
実験の結果、提案手法は従来手法と比べて最大23.9%の性能向上が確認された。これは、設計の複雑さに応じて最適化された専門家モデルを活用することで、より適切なVerillogコードを生成できるためである。
また、データセットの品質が性能に大きな影響を与えることも確認された。誤ったラベルが付与されたデータセットを用いた場合、性能が大幅に低下することが示された。
Статистика
本研究では、提案手法と従来手法の性能を比較するため、以下のような指標を用いて評価を行った:
pass@1: 生成されたVerillogコードのうち、少なくとも1つがユニットテストに合格した割合
pass@5: 生成された5つのVerillogコードのうち、少なくとも1つがユニットテストに合格した割合
pass@10: 生成された10個のVerillogコードのうち、少なくとも1つがユニットテストに合格した割合