サインイン
インサイト - LLM 성능 평가
영어-아이슬란드어 관용구 및 고유 명사를 사용한 대규모 언어 모델(LLM) 성능 저하 시도
본 논문은 영어-아이슬란드어 번역에서 관용구 및 고유 명사 처리 성능을 저하시키기 위한 테스트 세트를 제시하고, 이를 통해 최신 기계 번역 모델, 특히 대규모 언어 모델(LLM) 기반 시스템의 취약점을 파악하고자 한다.
대규모 언어 모델은 뛰어난 통계학자인가?: 인간과의 비교 분석을 통한 StatQA 벤치마크 평가
대규모 언어 모델(LLM)은 통계적 분석 작업에서 아직 인간 전문가의 수준에는 미치지 못하며, 특히 통계적 방법의 적용 가능성을 평가하는 데 어려움을 겪고 있다. 하지만 LLM은 특정 조건에서 인간을 능가하는 잠재력을 보여주며, 인간과의 상호보완적인 협력을 통해 더욱 정확하고 효율적인 통계 분석을 수행할 수 있다.
