이 논문은 계획 유사 작업(planning-like tasks)을 위한 기반 모델(foundation model)의 필요성을 논의합니다. 계획 유사 작업에는 비즈니스 프로세스, 프로그램, 워크플로우, 지침 등이 포함됩니다. 현재 대부분의 연구는 사전 훈련된 범용 기반 모델을 사용하거나 fine-tuning하는 데 초점을 맞추고 있습니다.
저자들은 계획 유사 작업을 위한 포괄적인 기반 모델을 처음부터 개발할 필요가 있다고 주장합니다. 이를 통해 기존 모델의 한계를 극복하고 계획 문제 해결을 위한 새롭고 효율적인 방법을 제공할 수 있습니다.
논문에서는 기반 모델 개발을 위한 토큰화, 모델 아키텍처, 사전 훈련 목표 등의 설계 고려사항을 자세히 다룹니다. 또한 모델의 압축성, 일반화 능력, 시간 및 실행 의미에 대한 인식 등 핵심 속성에 대해 설명합니다. 마지막으로 계획 유사 작업에 대한 기반 모델의 다양한 활용 방안을 제시합니다.
На другой язык
из исходного контента
arxiv.org
Дополнительные вопросы