이 논문은 LLM의 제로샷 반대 발언 생성 능력을 종합적으로 분석한다. 주요 내용은 다음과 같다:
GPT-2, DialoGPT, FlanT5, ChatGPT 등 4가지 LLM 모델의 제로샷 반대 발언 생성 성능을 평가하였다. 이는 이 분야 최초의 시도이다.
GPT-2와 DialoGPT 모델에 대해 모델 크기(소, 중, 대)에 따른 성능 변화를 추가로 분석하였다.
반대 발언의 유형(비난, 사실, 유머 등)을 제어하기 위한 3가지 프롬프팅 전략을 제안하고, 이들이 모델 성능에 미치는 영향을 분석하였다.
분석 결과, ChatGPT가 다른 모델에 비해 반대 발언 생성 품질이 크게 우수하지만, 모델 크기가 커질수록 유해성도 증가하는 것으로 나타났다.
프롬프팅 전략 측면에서는 수동 프롬프트가 비난, 사실, 유머 유형의 반대 발언 생성에 가장 효과적이었고, 클러스터 기반 프롬프트는 소속감 유형에 더 적합한 것으로 나타났다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문