本研究では、大規模言語モデル(LLM)の層の重要度を評価し、重要度の低い層を削除することで、モデルサイズを大幅に削減しつつ性能を維持する手法を提案している。
具体的には以下の2つのステップから成る:
実験の結果、提案手法は既存の圧縮手法と比べて優れた性能を示し、7Bパラメータのモデルで25%の圧縮率でも92%の分類性能と68%の生成性能を維持できることが確認された。
また、軽量モデルとしてMLPを使うことが最適であり、パラメータ共有型のトランスフォーマーなどは性能が劣ることも示された。
Para Outro Idioma
do conteúdo original
arxiv.org
Principais Insights Extraídos De
by Xiaodong Che... às arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.19135.pdfPerguntas Mais Profundas