IVON을 사용한 변형 저랭크 적응 (Variational Low-Rank Adaptation)
IVON을 사용한 변형 학습 방식이 LoRA(Low-Rank Adaptation) 미세 조정에서 정확도와 보정을 크게 향상시켜 대규모 언어 모델의 효율성을 높인다.
대규모 트랜스포머의 재귀적 적응 (READ)
본 논문에서는 대규모 트랜스포머 모델의 효율적인 미세 조정을 위한 새로운 방법인 READ(REcurrent ADaption)를 제안하며, 이는 적은 메모리 사용과 높은 성능을 동시에 달성합니다.
대규모 언어 모델의 효율적인 미세 조정을 위한 사전 학습 행렬 스켈레톤 선택 기법
사전 학습된 행렬의 핵심 구조를 활용하여 대규모 언어 모델의 미세 조정을 효율적으로 수행할 수 있는 PMSS 기법을 제안한다.
수학 문제 해결과 질문 답변을 위한 대규모 언어 모델의 효율적인 미세 조정
대규모 언어 모델의 성능을 향상시키기 위해 기존의 교차 엔트로피 손실 함수 대신 컴퓨터 비전 분야의 손실 함수를 활용하는 것이 효과적이다.
효율적인 대규모 언어 모델 미세 조정을 위한 마이너 특이 성분 활용
마이너 특이 성분을 활용하여 대규모 언어 모델의 매개변수 효율적인 미세 조정을 달성할 수 있다.
대규모 언어 모델의 효율적인 미세 조정을 위한 프로펄션 기법
대규모 언어 모델을 특정 작업에 맞게 효율적으로 미세 조정하기 위해 프로펄션 기법을 제안한다. 프로펄션은 모델의 출력 벡터를 선별적으로 재조정하여 작업 목표에 맞게 조정할 수 있으며, 이를 통해 기존 지식의 과도한 수정 없이 성능을 향상시킬 수 있다.
대규모 언어 모델의 효율적인 미세 조정을 위한 전략적 점진적 적응 미세 조정
대규모 언어 모델을 특정 하위 작업에 적응시키기 위해 모델의 각 계층에 서로 다른 수준의 미세 조정을 적용하는 전략적 점진적 적응 미세 조정 방법을 제안한다.
효율적인 미세 조정을 위한 비대칭 LoRA 아키텍처: HydraLoRA
HydraLoRA는 공유 A 행렬과 다중 B 행렬로 구성된 비대칭 LoRA 아키텍처를 제안하여 복잡한 데이터셋에서도 우수한 성능을 달성합니다.
대규모 언어 모델의 프롬프트와 접두사 동기화 레이블 튜닝
대규모 언어 모델(LLM)의 효율적인 미세 조정을 위해 L-Tuning이라는 새로운 접근법을 제안합니다. L-Tuning은 레이블 토큰을 활용하여 모델의 사전 지식을 활용하고 각 클래스에 대한 고유한 레이블 임베딩을 생성함으로써 기존 방식보다 정확도와 효율성을 향상시킵니다.
© 2024 by Linnk AI