로그인
통찰 - LLM 추론 최적화
1.58비트 LLM을 위한 최적화된 추론: 이진 및 삼진 행렬 곱셈을 위한 시간 및 메모리 효율적인 알고리즘
본 논문에서는 1.58비트 LLM의 추론 시간 및 메모리 효율성을 향상시키기 위해 이진 및 삼진 행렬 곱셈에 대한 새로운 알고리즘을 제안합니다.
DRAM 및 SSD를 활용한 혼합 정밀도 및 다단계 캐싱을 통한 지속 가능하고 접근성 높은 LLM 추론
본 논문에서는 구형 하드웨어에서도 대규모 언어 모델(LLM) 추론을 효율적이고 지속 가능하게 만드는 혼합 정밀도 및 다단계 캐싱(M2Cache) 기반 아키텍처를 제안합니다.
SplitLLM: 모델 배치 및 처리량 최적화를 위한 LLM의 협업 추론
SplitLLM이라는 새로운 협업 추론 아키텍처를 통해 서버와 클라이언트 장치 간에 LLM 추론 작업을 효율적으로 분산하여 서버 처리량을 개선하고 서비스 수준 계약(SLA)을 준수합니다.
LLM 추론에서 처리량-지연 트레이드오프를 Sarathi-Serve로 다루기
LLM 추론에서 처리량과 지연을 최적화하는 Sarathi-Serve의 효율성
© 2024 by Linnk AI