核心概念
문맥 내 학습은 복합적 일반화를 촉진하는 귀납적 편향을 제공할 수 있다.
要約
이 논문은 복합적 일반화와 문맥 내 학습 간의 관계를 실험적으로 연구합니다. 주요 내용은 다음과 같습니다:
-
메타 학습 체제를 통해 모델이 문맥 내 학습을 할 수 있도록 훈련합니다. 이는 모델이 각 예제를 순차적으로 관찰하고 이전 예제를 활용하여 새로운 예제를 일반화할 수 있게 합니다.
-
SCAN, COGS, GeoQuery 데이터셋에서 이렇게 훈련된 모델이 기존 모델에 비해 복합적 일반화 성능이 크게 향상되었음을 보여줍니다.
-
추가 실험을 통해 다음을 확인합니다:
- 더 많은 문맥 내 학습 문제에 노출될수록 복합적 일반화 성능이 향상됩니다.
- 모델이 실제로 문맥 내 학습을 통해 일반화하고 있음을 확인할 수 있습니다.
- 메모리화와 문맥 내 학습 간의 갈등이 존재하며, 이는 복합적 일반화에 영향을 미칩니다.
- 사전 훈련된 모델도 추가적인 메타 문맥 내 학습을 통해 이득을 볼 수 있습니다.
이를 통해 문맥 내 학습이 복합적 일반화를 촉진하는 강력한 귀납적 편향을 제공할 수 있음을 보여줍니다.
統計
데이터셋의 크기는 SCAN 8,365개 훈련, 1,045개 테스트, COGS 24,155개 훈련, 21,000개 테스트, GeoQuery 440개 훈련, 440개 테스트입니다.
SCAN 데이터셋의 출력 시퀀스는 Python 구문으로 표현되었고, COGS 데이터셋의 변수는 xn으로 표현되었습니다.
引用
"According to the principle of compositional generalization, the meaning of a complex expression can be understood as a function of the meaning of its parts and of how they are combined."
"We believe that standard models lack an inductive bias towards acquiring compositional representation, which arises from the independent parallel processing of examples in mini-batches."
"If this is true, then compositional generalization should be encouraged by forcing models to in-context learn – that is, forcing them to generalize to new examples conditioned on a few demonstrations of input-output mappings provided in the model's context (or memory) without parameter updates."