LLAMA-2 モデルの4ビット推論を可能にするQuaRot: アウトライアーのない回転ベースの量子化手法

QuaRotは、LLMの重み、活性化関数、KVキャッシュを4ビットで量子化できる新しい量子化手法である。QuaRotはLLMを回転させることで、出力を変えずにアウトライアーを除去し、量子化を容易にする。