Główne pojęcia
LLMsを使ったデータベースクエリ処理は、従来のリレーショナルデータベースに比べて大幅な電力消費を伴い、環境に優しくない手法であることが示された。
Streszczenie
本研究では、9種類のオープンソースLLMモデルを使ってデータベースクエリの実行性能と正確性を評価した。実験の結果、LLMモデルを使ったクエリ処理は、従来のSQLエンジンに比べて大幅な電力消費を伴うことが明らかになった。特に大規模なLLMモデルほど電力消費が高く、環境への影響が大きいことが示された。一方で、LLMモデルのクエリ生成精度は低く、SQLクエリと同等の正確性を得るのは困難であることが分かった。
このため、LLMsをデータベースクエリに置き換えることは推奨されず、従来のリレーショナルデータベースシステムの使用が望ましいと結論付けられた。ただし、LLMsとデータベースを組み合わせることで、ユーザーフレンドリーなクエリインターフェースの実現など、新しい可能性も示唆された。今後の研究では、LLMsの精度向上と電力効率化に向けた取り組みが期待される。
Statystyki
SQLiteによる直接クエリ実行の平均実行時間は0.41 ms、平均メモリ使用量は1641 Bであった。
LLMモデルの平均実行時間は23秒(Mistral)から260秒(SUS-chat-34B)と大きな差があり、モデルのサイズと構造が大きな影響を与えることが示された。
メモリ使用量はSUS-chat-34Bが最も高く、スケーラビリティの課題が明らかになった。一方、量子化技術を使ったOptimus-7Bは効率的な資源利用を実現した。
電力消費はSQLエンジンが8.22×10^-6 Jと最も低く、LLMモデルの中ではPlatypus-yi-34bが最も高い2181.8 Jを記録した。
Cytaty
"LLMsを使ったデータベースクエリ処理は、従来のリレーショナルデータベースに比べて大幅な電力消費を伴い、環境に優しくない手法である。"
"LLMモデルのクエリ生成精度は低く、SQLクエリと同等の正確性を得るのは困難である。"