Kolmogorov-Arnold Networks for Interpretable and High-Performance Survival Analysis
Kolmogorov-Arnold Networks (KANs) can accurately recover interpretable symbolic formulas for the hazard function and effectively perform automatic feature selection in survival analysis.
분산 최적화 관점에서 주목 메커니즘의 합의 불일치 활용: AttentionX
분산 최적화 알고리즘인 PDMM에서 활용되는 합의 불일치 개념을 Attention 메커니즘에 도입하여 AttentionX를 제안하였으며, 이를 통해 ViT와 nanoGPT 모델의 성능 향상을 달성하였다.
대규모 언어 모델을 활용한 진화적 다중 과제 최적화를 위한 자동화된 지식 전달 기법 개발
대규모 언어 모델을 활용하여 진화적 다중 과제 최적화 성능을 향상시키기 위한 자동화된 지식 전달 모델 설계 방법을 제안한다.
Advancing Low-Resource Machine Translation for Karakalpak through the Open Language Data Initiative
This study presents fine-tuned neural models for Karakalpak translation, a FLORES+ devtest dataset translated to Karakalpak, and parallel corpora for Uzbek-Karakalpak, Russian-Karakalpak, and English-Karakalpak, all of which are open-sourced to advance machine translation capabilities for this low-resource language.
정확도 추정을 이용한 비지도 도메인 적응에서의 네트워크 신뢰도 보정
비지도 도메인 적응 상황에서 레이블이 없는 타겟 도메인 데이터를 활용하여 네트워크 신뢰도를 직접 보정하는 방법을 제안한다.
WarpAdam: A Meta-Learning Approach to Enhance the Adaptability of the Adam Optimizer
The authors propose WarpAdam, a novel optimization strategy that integrates the "warped gradient descent" concept from Meta-Learning into the Adam optimizer, aiming to enhance the adaptability of the optimizer across diverse datasets.
Calibrating Network Confidence for Unsupervised Domain Adaptation Using Estimated Target Accuracy
The core message of this article is that current unsupervised domain adaptation (UDA) calibration methods, which rely on importance weighting of the source domain data, fail to properly calibrate the network's confidence on the target domain due to an overly optimistic estimation of the target accuracy. The authors propose a novel UDA calibration method, called Unsupervised Target Domain Calibration (UTDC), that directly calibrates the network's confidence on the target domain by estimating the actual accuracy of the adapted model on the target data.
다기관 질환 관리를 위한 계층적 다중 에이전트 강화 학습 프레임워크
다기관 질환의 복잡성을 해결하기 위해 계층적 다중 에이전트 강화 학습 프레임워크를 제안하여 장기 생존율을 크게 향상시킴
저비용 저랭크 학습을 위한 Fast Forwarding
저랭크 적응 기법(LoRA)을 활용하여 언어 모델 파인튜닝 시 계산 비용을 크게 줄일 수 있는 Fast Forward 기법을 제안한다. Fast Forward는 작은 검증 데이터셋을 활용하여 최적의 학습률을 찾아 학습을 가속화하는 간단하면서도 효과적인 방법이다.
Analyzing Information Flow in Transformer Language Models Using Multi-Layer Sparse Autoencoders
Multi-layer sparse autoencoders (MLSAEs) can capture how information flows across layers in transformer language models by training a single autoencoder on the residual stream activations from all layers simultaneously.
