텍스트 분류

Logg Inn

innsikt - 텍스트 분류

AnchorAL은 대규모 불균형 데이터셋에 대한 능동 학습 문제를 해결하기 위해 고안되었다. 고정된 크기의 작은 하위 풀을 사용하여 계산 비용을 줄이고, 레이블된 인스턴스에 대한 앵커를 동적으로 선택하여 입력 공간을 탐색하고 소수 클래스 인스턴스를 발견한다.

텍스트 분류기 모델의 차원성과 적대적 공격 간의 강한 상관관계를 밝히고, 이를 활용한 적대적 공격에 대한 방어 메커니즘을 제안한다.

최신 언어 모델들은 제로 및 소수 샘플 설정에서 우수한 성능을 보이지만, 기존 미세 조정 기반 접근법과 비교했을 때 텍스트 분류 문제에서 여전히 개선의 여지가 있다.

능동 학습 기법은 다양한 요인에 의해 큰 영향을 받으며, 일반적으로 무작위 샘플링과 비교해 큰 성능 향상을 보이지 않는다.

적응형 앙상블 알고리즘은 단일 모델 분류기보다 LLM 생성 텍스트 탐지에 더 효과적이며 우수한 일반화 능력을 보여줌

레이블 설명을 활용하여 입력 텍스트 시퀀스와 의미적 관련성을 모델링함으로써 검은 상자 언어 모델을 효과적으로 적응시킬 수 있다.

CrossTune은 언어 모델의 내부 매개변수에 접근할 수 없는 흑박스 환경에서 레이블 설명을 활용하여 소량 학습 텍스트 분류 성능을 향상시킨다.

검은 상자 언어 모델을 효율적으로 적응시키기 위해 레이블 설명을 활용한 크로스 어텐션 네트워크인 CrossTune을 제안한다. 또한 ChatGPT를 활용하여 추가 학습 데이터를 생성하고 필터링하는 방법을 제안한다.

라벨 설명을 활용한 크로스 어텐션 네트워크를 통해 입력 텍스트와 라벨 간의 의미적 관련성을 모델링하여 흑박스 언어 모델을 효과적으로 적응시킬 수 있다.

설명 가능한 능동 학습 프레임워크(XAL)는 분류기가 추론의 근거를 정당화하고 설명할 수 있도록 하여 저자원 텍스트 분류 성능을 향상시킵니다.

Produkter | Ressurser

Innsikter