下載 Linnk AI
•
AI 研究助理
>
登入
洞見
-
大規模言語モデルの高効率な量子化
大規模言語モデルの高効率な量子化手法「CBQ」
CBQは、ブロック間の依存関係を考慮した量子化手法であり、重みと活性化の極端な外れ値を効果的に抑制し、重みの量子化誤差を適応的に補正することで、大規模言語モデルを高効率に圧縮できる。
1