大規模言語モデルの高効率な量子化手法「CBQ」

CBQは、ブロック間の依存関係を考慮した量子化手法であり、重みと活性化の極端な外れ値を効果的に抑制し、重みの量子化誤差を適応的に補正することで、大規模言語モデルを高効率に圧縮できる。