이 내용은 언어 모델링의 수학적 기초를 다룹니다.
먼저 언어 모델링의 비형식적 정의를 제시하고, 이에 내재된 문제점을 보여줍니다. 이를 해결하기 위해 측도론적 기초를 소개합니다.
측도론의 핵심 개념인 σ-대수, 확률 측도 등을 정의하고 설명합니다. 이를 바탕으로 언어 모델을 엄밀하게 정의합니다.
언어 모델은 크게 전역 정규화 모델과 지역 정규화 모델로 구분됩니다. 전역 정규화 모델은 전체 문자열 공간에 대한 정규화가 필요하지만, 지역 정규화 모델은 각 단계별 조건부 확률을 모델링하여 정규화 문제를 해결합니다.
두 모델의 장단점을 비교하고, 지역 정규화 모델이 언어 모델이 되기 위한 조건인 타이트니스(tightness)에 대해 설명합니다.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Ryan Cottere... um arxiv.org 04-18-2024
https://arxiv.org/pdf/2311.04329.pdfTiefere Fragen