登录
洞察 - 교차 언어 전이 학습
정보 추출을 위한 다중 소스 및 타겟 언어 기반 제로샷 교차 언어 전이 학습: 언어 선택 및 적대적 학습
다중 소스 및 타겟 언어를 사용한 제로샷 교차 언어 전이 학습에서 언어 간의 언어적 관계를 활용하면 정보 추출 작업의 성능을 향상시킬 수 있으며, 특히 언어 선택 및 적대적 학습에 유용하게 활용될 수 있다.
고전 중국어, 한자 및 간분에 대한 교차 언어 전이 효과: 정량적 분석
고전 중국어 자료가 한자 및 간분과 같은 동아시아 역사 문어 처리에 필수적으로 도움이 된다는 통념과 달리, 실증적인 연구 결과는 제한적인 효과를 보여주며, 특히 자원이 풍부한 경우 그 효과가 미미하다.
디코더 언어 모델의 교차 언어 전이 향상을 위한 능동적 망각을 통한 사전 훈련 탐구
능동적 망각 기법을 활용한 사전 훈련을 통해 디코더 기반 대규모 언어 모델(LLM)의 교차 언어 전이 능력을 향상시키고, 새로운 언어에 대한 적응력을 높일 수 있다.
사전 정렬: 다국어 정렬의 조기 구축을 통한 교차 언어 전이 향상
대규모 언어 모델의 교차 언어 전이 능력을 향상하기 위해서는 사전 훈련 전에 다국어 정렬을 구축하고, 훈련 과정 전반에 걸쳐 이를 유지하는 것이 중요하다.
다국어 언어 모델에서의 효율적인 교차 언어 전이 학습 접근법
다국어 언어 모델의 제로샷 교차 언어 전이 능력은 잘 알려져 있지만, 긍정적 또는 부정적 전이 현상과 언어 선택의 영향은 아직 완전히 이해되지 않고 있다. 우리는 어댑터 유닛을 사용하여 작업과 언어를 분리함으로써 특정 전이 언어가 다른 대상 언어의 성능에 미치는 영향을 효율적으로 연구하는 방법을 제안한다.
기계 번역이 다국어 사전 학습과 교차 언어 전이 학습을 연결할 수 있는가?
기계 번역 목적이 교차 언어 표현 학습을 향상시키지 않는다는 것을 발견했다. 이는 기계 번역에 유리한 출력 분리가 다른 곳에서는 해롭기 때문이다.
