계층적 SGD의 효과를 해명하는 분석
계층적 SGD는 다수준 통신 네트워크에서 새로운 분산 SGD 알고리즘으로 부상했다. 이 연구에서는 비IID 데이터, 비볼록 목적 함수, 확률적 경사하강법 하에서 계층적 SGD의 수렴 성능을 이론적으로 분석하였다. 특히 상향 및 하향 발산 개념을 도입하여 계층적 SGD의 수렴 특성을 설명하고, 이를 통해 지역 집계가 전역 수렴을 개선할 수 있는 이유를 제시하였다.
데이터 편향 증폭이 소수 그룹의 성능을 향상시킨다
데이터 편향 증폭 기법을 통해 소수 그룹의 성능을 향상시킬 수 있다.
자동인코더 기반 이상치 탐지의 예상치 못한 재구성 문제 해결
자동인코더 기반 이상치 탐지 방법의 과도한 확신 문제와 예상치 못한 재구성 문제를 해결하기 위해 가중 음의 로그 우도와 평균 이동 점수 방법을 제안하였다.
예측 횟수를 줄인 캐싱 및 MTS 알고리즘
예측 횟수를 줄이면서도 일관성, 강건성, 부드러움 등의 성능을 유지하는 캐싱 및 MTS 알고리즘을 제안한다.
선호도 기반 문맥 배너 최적화를 위한 Feel-Good Thompson Sampling 알고리즘
본 논문은 문맥 배너 최적화를 위한 새로운 Feel-Good Thompson Sampling 알고리즘을 제안한다. 이 알고리즘은 기존 UCB 기반 알고리즘보다 우수한 성능을 보이며, 특히 무한한 행동 공간에서도 효과적으로 작동한다.
정확성과 단순성을 동시에 고려한 심볼릭 회귀 표현식의 근사 단순화
지역 민감 해싱을 활용하여 심볼릭 회귀 표현식의 복잡도를 줄이면서도 예측 성능을 유지할 수 있는 효율적인 단순화 기법을 제안한다.
토큰당 일정한 비용으로 Softmax Attention 처리하기
Transformers의 기존 Attention 메커니즘을 간단히 수정하여 로그-합 지수 함수로 표현할 수 있으며, 이를 통해 고정 크기의 잠재 공간에서 순차적으로 적용할 수 있어 토큰당 일정한 시간과 공간 복잡도로 처리할 수 있다.
순방향-순방향 학습 알고리즘을 위한 경량 추론
순방향-순방향 학습 알고리즘을 사용하여 학습된 신경망에 대한 경량 추론 기법을 제안한다. 이를 통해 추론 과정의 계산 복잡도와 에너지 소비를 크게 줄일 수 있다.
데이터 외부 분포에 대한 보장된 예측 집합
데이터 외부 분포에서도 신뢰 구간 예측을 보장하는 방법을 제안한다.
진화 랜주빈 방정식의 메모리 커널 학습
본 연구는 일반화된 랜주빈 방정식의 메모리 커널을 효율적으로 추정하는 새로운 접근법을 제안한다. 정규화된 프로니 방법을 사용하여 궤적 데이터에서 상관 함수를 추정하고, 이를 바탕으로 소볼레프 노름 기반의 손실 함수와 RKHS 정규화를 통해 메모리 커널을 학습한다. 이 방법은 지수적으로 가중된 L2 공간에서 향상된 성능을 보장하며, 상관 함수 추정 오차에 의해 커널 추정 오차가 제어된다.
© 2024 by Linnk AI