本論文は、モバイルデバイスにおける大規模言語モデル(LLM)の展開に関する課題に取り組んでいる。モバイルデバイスの計算能力の限界から、エッジコンピューティングがLLMの実装に有効な解決策となる。しかし、LLMの計算需要と、データプライバシーの懸念から、効率的な訓練と展開に課題が残されている。
本論文では、モバイルユーザーとエッジサーバーの協調的な訓練フレームワークを提案する。パラメータ効率的なファインチューニング(PEFT)手法を活用し、モバイルユーザーが初期層を調整し、エッジサーバーが後半の層を処理する。
具体的には、エネルギー消費と遅延を最小化する多目的最適化問題を定式化する。さらに、モデルの安定性を目的関数に組み込むことで、訓練プロセスの信頼性を高める。
理論的な分析により、ファインチューニングする層の数とモデルの安定性の関係を明らかにする。また、分数計画法を用いた新しい手法により、定常点を見出す。
シミュレーションの結果、提案手法がエネルギー消費、遅延を削減し、様々なモバイル環境でLLMの信頼性を向上させることを示す。
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Chang Liu, J... lúc arxiv.org 10-01-2024
https://arxiv.org/pdf/2409.20247.pdfYêu cầu sâu hơn