Core Concepts
LLMsを使用して建築設計決定を生成することは可能であり、効果的にソフトウェアアーキテクトを支援できる。
Abstract
建築知識管理(AKM)におけるArchitecture Decision Records(ADR)の重要性と、LLMsを使用したADRsの生成能力に焦点を当てた探索的研究。GPT-4などの大規模モデルが0-shot設定で優れた結果を示し、Flan-T5などの小規模モデルも有用性が示された。Fine-tuningにより、すべてのモデルのパフォーマンスが向上し、特にFlan-T5-baseが優れた結果を達成した。
Stats
GPT-4はBERTScore(F1)で最高のスコアを達成しました。
GPT-3.5-text-davinci-003はfew-shotアプローチで最高のメトリック値を達成しました。
Flan-T5-baseはfine-tuning後に最高の結果を達成しました。
Quotes
LLMsはDesign Decisionsを生成する能力があることが示唆されています。