Core Concepts
LLMは、ハードウェア記述言語(HDL)でのコード生成能力を示しているが、テストコード生成に関する研究は不足している。本研究では、LLMを用いて設計とテストの両方を行うことで、デジタル設計パイプラインの完全自動化に向けた進展が期待できる。
Abstract
本研究では、LLMの設計とテストの能力を評価するため、8つの代表的なベンチマークを使用して調査を行った。最新の対話型LLMを使用して、Verilogの機能コードとテストベンチを生成させ、その性能と限界を検討した。その結果、ChatGPT-4は設計生成では良好な結果を示したが、テストベンチの生成では課題があることが分かった。一方、ChatGPT-3.5は設計とテストの両方で十分な性能を発揮できなかった。また、Bard、HuggingChatなどの他のLLMも、仕様に沿ったVerilogコードの生成に失敗した。本研究では、Tiny Tapeout 3のプラットフォームを使用して、生成したベンチマークをテープアウトし、実際のチップ上で動作確認を行った。
Stats
設計とテストの開発工数の51%がバリデーションに費やされている
LLMはVerilogコードの生成が可能であることが示されているが、テストコード生成に関する研究は不足している
Quotes
"LLMsは、ハードウェア記述言語(HDL)でのコード生成能力を示しているが、テストコード生成に関する研究は不足している。"
"本研究では、LLMを用いて設計とテストの両方を行うことで、デジタル設計パイプラインの完全自動化に向けた進展が期待できる。"