Logg Inn
innsikt - 大規模言語モデルの推論高速化
大規模言語モデルの推論を統一的なレイヤースキップ戦略で高速化する
統一的なレイヤースキップ戦略を提案し、入力に依存しない安定した高速化を実現する。
大規模言語モデルの生産環境での推論速度向上のための組み合わせトークン/埋め込み投機モデル
大規模言語モデルの推論速度を2-3倍高速化するための投機的デコーディングモデルの設計と訓練
SwiftKV: ナレッジ保存モデル変換による高速なプリフィル最適化推論
SwiftKVは、入力トークンの処理に必要な計算量とメモリ使用量を削減することで、大規模言語モデルの推論を高速化する新しいモデル変換手法です。
大規模言語モデルの推論高速化：包括的なハードウェア視点からの考察
生成系大規模言語モデルの推論高速化は、CPU、GPU、FPGA、ASIC、PIM/NDP などの多様なハードウェアプラットフォームと、量子化、スパース化、高速デコーディングなどのソフトウェア最適化手法を組み合わせることで実現できる。
Produkter | Ressurser
© 2024 by Linnk AI