대규모 언어 모델의 순차적 명령 수행 능력을 조사하는 SIFo 벤치마크

Core Concepts

대규모 언어 모델(LLM)의 순차적 명령 수행 능력을 평가하기 위한 새로운 벤치마크인 SIFo를 소개하며, 실험 결과 현존하는 LLM은 순차적 명령 수행 능력이 부족함을 시사한다.

Abstract

SIFo 벤치마크: 대규모 언어 모델의 순차적 명령 수행 능력 평가

본 논문은 대규모 언어 모델(LLM)의 순차적 명령 수행 능력을 평가하기 위한 새로운 벤치마크인 SIFo를 소개합니다. SIFo는 기존의 LLM 평가 방법론이 지닌 세 가지 주요 문제점, 즉 (1) 여러 명령 간의 제한적인 일관성, (2) LLM의 위치 편향, (3) 객관적으로 검증 가능한 작업의 부족을 해결하고자 설계되었습니다.

SIFo는 텍스트 수정, 질문 답변, 수학, 보안 규칙의 네 가지 객관적으로 검증 가능한 작업을 포함하며, 각 작업은 순차적 명령 수행을 다른 각도에서 평가합니다. 각 작업은 여러 단계의 명령으로 구성되며, 각 단계의 성공은 이전 단계의 성공 여부에 따라 달라집니다. 따라서 모델은 최종 결과를 얻기 위해 주어진 순서대로 모든 명령을 올바르게 수행해야 합니다.
텍스트 수정 (TM)
텍스트 수정 작업은 LLM이 주어진 텍스트에 단어 삽입, 교체, 삭제와 같은 어휘적 작업을 순차적으로 수행하는 능력을 평가합니다.
질문 답변 (QA)
질문 답변 작업은 LLM이 주어진 텍스트에서 정보를 추출하여 질문에 답하고, 이전 질문에 대한 답변을 기반으로 텍스트를 수정하는 작업을 순차적으로 수행하는 능력을 평가합니다.
수학 (M)
수학 작업은 LLM이 주어진 수학 문제를 여러 단계로 분해하여 각 단계의 계산을 순차적으로 수행하는 능력을 평가합니다.
보안 규칙 (SR)
보안 규칙 작업은 LLM이 주어진 보안 규칙(예: 시스템 비밀번호, 사용자 액세스 권한)을 준수하면서 명령을 순차적으로 수행하는 능력을 평가합니다.

Key Insights Distilled From

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models

by Xinyi Chen, ... at arxiv.org 10-04-2024

https://arxiv.org/pdf/2406.19999.pdf