Conceptos Básicos
Re-TASK 프레임워크는 Bloom의 분류법과 지식 공간 이론을 기반으로 LLM 과제를 기능, 기술, 지식 관점에서 재고찰하여 CoT의 한계를 극복하고 도메인 특정 작업에서 LLM 성능을 향상시키는 것을 목표로 합니다.
Resumen
Re-TASK: 기능, 기술, 지식 관점에서 LLM 과제 재고찰
본 논문에서는 복잡하고 도메인 특정적인 작업을 해결하기 위한 새로운 이론적 모델인 Re-TASK 프레임워크를 소개합니다. CoT(Chain-of-Thought) 패러다임은 작업을 하위 작업으로 분해하는 데 효과적이지만, LLM은 도메인 지식과 특수 기능이 부족하여 복잡한 작업, 특히 도메인 특정적인 작업을 정확하게 분해하고 하위 작업을 효과적으로 실행하는 데 어려움을 겪습니다.
Re-TASK 프레임워크는 Bloom의 분류법과 지식 공간 이론의 원리를 바탕으로 LLM 과제를 기능, 기술, 지식의 관점에서 재고찰합니다. CoT가 작업에 대한 워크플로우 관점을 제공하는 반면, Re-TASK 프레임워크는 작업과 해당 하위 작업이 다양한 기능 항목에 어떻게 의존하는지 보여주는 학습 사슬(Chain-of-Learning) 보기를 소개합니다. 각 기능 항목은 지식과 기술의 구성 요소로 더 세분화됩니다.
기능, 기술, 지식
작업(Task): LLM이 달성하도록 설계된 특정 목표로, 입력 x에서 출력 y로의 매핑으로 특징지어지며, 작업 지침 I와 선택적 컨텍스트 ctx에 의해 촉진됩니다.
지식(Knowledge): 작업/하위 작업 수행에 필수적인 도메인 특정 지식이 포함된 텍스트 세그먼트입니다. LLM의 컨텍스트에서 지식 K는 모델의 매개변수 내에 인코딩된 암시적 지식일 수도 있습니다.
기술(Skill): Bloom의 분류법의 인지적 프로세스에 해당하며 지식 회상/검색, 이해, 적용 등 관련 교육 활동을 통해 개발됩니다.
기능 항목(Capability Item): Bloom의 분류법에서 교육 활동의 개념에 해당하는 기능 항목 C는 LLM이 특정 기술 S를 관련 지식 K에 적용하도록 안내하여 지식-기술 적응을 촉진하도록 설계된 특정 연습 또는 데모입니다.
Re-TASK 프레임워크를 CoT와 결합하면 전체 작업 및 해당 하위 작업과 연결된 핵심 기능 항목을 식별한 다음 이러한 기능을 강화하여 하위 작업 성능을 개선하고 궁극적으로 전체 작업 성능을 향상시킬 수 있습니다. 특히, Re-TASK 프롬프팅이라는 의도적으로 설계된 프롬프팅 전략을 사용하여 대상 지식 주입 및 기술 적응을 통해 기능 항목을 향상시킵니다. 기능 항목은 지식 회상/검색, 지식 이해 및 지식 적용을 포함한 지식-기술 적응의 데모 역할을 합니다.
Re-TASK 프롬프팅 전략의 이점
향상된 작업 분해: Re-TASK 프레임워크는 LLM이 도메인 지식과 특수 기능을 활용하여 복잡한 작업을 더 작고 관리하기 쉬운 하위 작업으로 분해할 수 있도록 지원합니다.
효과적인 하위 작업 실행: Re-TASK 프롬프팅은 LLM에 지식 주입 및 기술 적응을 위한 데모를 제공하여 각 하위 작업을 효과적으로 실행할 수 있도록 합니다.
도메인 특정 작업에 대한 향상된 성능: Re-TASK 프레임워크는 LLM이 도메인 특정 지식과 기술을 활용하여 법률, 금융 및 수학과 같은 다양한 도메인에서 복잡한 작업을 해결할 수 있도록 지원합니다.