Główne pojęcia
조각별 선형 앙상블의 통합 최적화(JOPLEN)은 그리디하게 구축된 트리 앙상블의 성능을 향상시키고 모델의 유연성을 높이며, 희소성 촉진 행렬 노름 및 부공간 노름과 같은 일반적인 페널티를 비선형 예측에 적용할 수 있다.
Streszczenie
이 논문에서는 조각별 선형 앙상블의 통합 최적화(JOPLEN)을 제안한다. JOPLEN은 그리디하게 구축된 트리 앙상블의 성능을 향상시키고 모델의 유연성을 높이는 동시에 희소성 촉진 행렬 노름 및 부공간 노름과 같은 일반적인 페널티를 비선형 예측에 적용할 수 있다.
JOPLEN은 기존의 그래디언트 부스팅(GB) 및 랜덤 포레스트(RF) 앙상블에 적용되어 회귀 및 이진 분류 문제에서 우수한 성능을 보였다. 또한 핵 노름 페널티를 사용하면 부드럽고 부공간 정렬된 함수를 학습할 수 있다. 마지막으로 더티 LASSO를 확장하여 다태스크 특성 선택을 수행하였으며, JOPLEN 더티 LASSO가 선형 및 그래디언트 부스팅 접근법보다 우수한 특성 희소성/성능 트레이드오프를 달성했다.
JOPLEN은 회귀, 분류 및 특성 선택 분야에서 널리 사용될 것으로 기대된다.
Statystyki
회귀 문제에서 JOPLEN은 그래디언트 부스팅(GB) 및 랜덤 포레스트(RF) 앙상블보다 유의미하게 향상된 성능을 보였다(p < 0.05).
이진 분류 문제에서도 JOPLEN이 GB 및 RF 앙상블보다 향상된 성능을 보였지만, 통계적 유의미성은 낮았다(p = 0.33).
JOPLEN은 선형 포레스트(LF) 모델의 성능도 향상시켰다.
JOPLEN은 CatBoost보다 유의미하게 우수한 성능을 보였다(p = 0.023).
JOPLEN은 신경망(NN) 및 FASTEL 모델보다 전반적으로 우수한 성능을 보였다.
Cytaty
"JOPLEN은 그리디하게 구축된 트리 앙상블의 성능을 향상시키고 모델의 유연성을 높이며, 희소성 촉진 행렬 노름 및 부공간 노름과 같은 일반적인 페널티를 비선형 예측에 적용할 수 있다."
"JOPLEN은 회귀, 분류 및 특성 선택 분야에서 널리 사용될 것으로 기대된다."