핵심 개념
WikiFactDiff는 2021년 1월 4일과 2023년 2월 27일 사이의 사실 지식 변화를 새로운, 폐기, 정적 사실로 구분하여 제공하는 대규모 데이터셋이다. 이를 통해 언어 모델의 시간 종속적 지식 업데이트 연구를 가능하게 한다.
초록
이 논문은 대규모 현실적 데이터셋 WikiFactDiff를 소개한다. WikiFactDiff는 2021년 1월 4일과 2023년 2월 27일 사이의 Wikidata 지식베이스 변화를 반영한다. 각 사실은 새로운, 폐기, 정적 사실로 분류되어 다양한 업데이트 시나리오(교체, 보관, 새 개체 삽입 등)를 제공한다. 또한 자연어 문장 템플릿과 클로즈 테스트를 포함하여 업데이트 알고리즘 적용과 평가가 가능하다. 기존 데이터셋과 달리 WikiFactDiff는 현실적이고 시간 적응형이라는 특징을 가진다. 마지막으로 WikiFactDiff를 활용한 기존 업데이트 알고리즘의 성능 평가 결과를 제시한다.
통계
일본의 인구는 125.96M에서 125.44M로 변경되었다.
크리스티아누 호날두가 포르투갈 국가대표팀의 멤버가 되었다.
도널드 트럼프가 미국 정부의 수장에서 물러났고 조 바이든이 새로운 수장이 되었다.
ChatGPT가 새로운 언어 모델로 등장했다.
인용구
"Large Language Models (LLMs) suffer from a static, time-stopped nature: they only get to learn facts up to the date when their training data was collected."
"Knowing how to update the facts known by these models is crucial to ensure their utility and relevance, as well as the global reliability of all artificial intelligence applications based on them."
"WikiFactDiff constitutes a realistic update setting that involves various update scenarios, including replacements, archival, and new entity insertions."