Entrar
insight - 大規模言語モデルの高速化
大規模言語モデルの推論を高速化するための意味適応トークンを用いた投機的デコーディング
大規模言語モデルの精度を損なうことなく、意味適応トークンを導入することで、高品質なドラフトトークンを生成し、モデルの推論速度を大幅に向上させることができる。
大規模生成言語モデルの効率的なインファレンスのための、ルックアップテーブルを使ったQuantized Matrix Multiplication
ルックアップテーブルを活用した量子化行列乗算手法LUT-GEMMを提案し、大規模言語モデルのインファレンス時の計算コストと必要GPU数を大幅に削減する。
効率的な大規模言語モデルのための圧縮カーネル化
本研究では、事前学習済みの通常のTransformerモデルを線形計算量のモデルに変換する新しい手法「DiJiang」を提案する。Discrete Cosine Transform (DCT)を用いた周波数領域でのカーネル化により、大幅な計算コストの削減と推論速度の向上を実現する。
大規模言語モデルの無損失高速化のためのアダプティブN-gramパラレルデコーディング
大規模言語モデルの推論速度を大幅に向上させる、アダプティブN-gramパラレルデコーディングアルゴリズムを提案する。
大規模言語モデルの無損失高速化のための隠れ層転送による並列デコーディング
大規模言語モデルの推論時の遅延を解決するため、中間層の隠れ状態を予測して並列デコーディングを行う新しい手法を提案する。
大規模言語モデルの推論速度向上のための精度整列量子化によるKVキャッシュアクセス削減
精度整列基準に基づいて、KVキャッシュ内の各パラメータの必要精度を動的に決定し、メモリアクセス量を削減することで、大規模言語モデルの推論速度を向上させる。
TidalDecode：位置持続スパースアテンションを用いた高速かつ正確なLLMデコーディング
大規模言語モデル（LLM）のデコーディングを高速化するため、位置持続スパースアテンションを用いた新規アルゴリズムとシステム「TidalDecode」を提案する。
Produtos | Recursos
© 2024 by Linnk AI