Core Concepts
이 연구는 대규모 언어 모델(LLM)을 활용하여 소프트웨어 API 호출 기능을 향상시키는 새로운 전략을 소개합니다. 데이터셋 정제, 모델 선택 및 훈련, 그리고 조건부 마스킹 기법을 통해 API 함수 호출의 정확성과 효율성을 크게 개선했습니다.
Abstract
이 연구는 대규모 언어 모델(LLM)의 소프트웨어 API 호출 기능을 향상시키기 위한 새로운 전략을 제안합니다.
데이터셋 준비:
RapidAPI Hub에서 30,000개 이상의 널리 사용되는 API 문서를 수집하고 정제했습니다.
API 함수 이름, 설명, 인수 등의 정보를 체계적으로 정리했습니다.
부정적 샘플링과 커리큘럼 러닝 기법을 적용하여 데이터셋을 개선했습니다.
모델 훈련:
CodeLlama7b, Google Gemma 2B & 7B, Stable Code LM 3B 등 4개의 오픈소스 모델을 사용했습니다.
LORA와 8비트 양자화 기법을 활용하여 효율적인 훈련을 수행했습니다.
조건부 마스킹:
출력 형식의 일관성을 보장하기 위해 조건부 마스킹 기법을 도입했습니다.
이를 통해 모델이 원하는 형식으로 출력을 생성하도록 하여 정확도를 높였습니다.
성능 평가:
제안한 모델인 옥토퍼스가 GPT-4 대비 소프트웨어 API 호출 정확도가 더 높은 것으로 나타났습니다.
조건부 마스킹 기법이 모델 성능 향상에 효과적임을 확인했습니다.
이 연구는 대규모 언어 모델의 소프트웨어 개발 및 API 통합 능력을 크게 향상시켰으며, 실용적인 AI 애플리케이션 개발에 기여할 것으로 기대됩니다.
Stats
소프트웨어 API 호출 정확도는 옥토퍼스 모델이 GPT-4보다 약 46% 높습니다.
조건부 마스킹 기법 적용 후 옥토퍼스 모델의 정확도가 약 95%로 향상되었습니다.
Quotes
"옥토퍼스는 GPT-4보다 소프트웨어 API 호출 정확도가 더 높습니다."
"조건부 마스킹 기법은 모델 성능 향상에 효과적입니다."