대규모 언어 모델과 트리 검색 기반 추론을 위한 효율적인 IO 인식 트리 주의 알고리즘

DEFT는 트리 구조의 KV 캐시와 부분 결과(QK⊤, Softmax)에 대한 IO 최적화를 통해 대규모 언어 모델 추론의 효율성을 크게 향상시킨다.