サインイン
インサイト - 신경망 모델
경량화되고 기울기 안정적인 신경망 계층
Householder 가중치와 절대값 활성화 기능을 결합한 신경망 계층 구조인 Han-layer를 제안하여, 매개변수 수와 계산 복잡도를 크게 줄이면서도 기울기 안정성을 보장할 수 있다.
스파이킹 웨이블릿 트랜스포머: 에너지 효율적이고 정확한 시각 인식을 위한 새로운 접근법
스파이킹 신경망은 뇌의 이벤트 기반 처리를 모방하여 에너지 효율적인 대안을 제공하지만, 기존 트랜스포머 기반 모델은 고주파 패턴을 포착하는 데 한계가 있다. 본 연구는 스파이킹 웨이블릿 트랜스포머(SWformer)를 제안하여, 웨이블릿 변환을 활용해 공간-주파수 특징을 효과적으로 학습함으로써 이를 해결한다.
화학 유닛 게이트 처리 - 생물학적 신경망 모델과의 연결
화학 시냅스를 가진 생물학적 뉴런의 전기적 등가 회로(Electrical Equivalent Circuits, EECs)로부터 체계적으로 도출된 새로운 유형의 게이트 순환 유닛인 GCUs는 일반적으로 사용되는 게이트 순환 유닛과의 격차를 해소하고 생물학적으로 타당한 신경망 모델에 대한 새로운 통찰을 제공한다.
조건부 계산을 활용한 신경망 모델의 원리와 연구 동향
신경망 모델에서 입력, 레이어, 하위 모듈 등을 선택적으로 활성화하는 조건부 계산 기법을 소개하고, 이를 통해 효율성, 설명 가능성, 전이 학습 등의 이점을 얻을 수 있음을 설명한다.
신경망의 모델-프리 로컬 재보정
신경망의 예측 분포를 로컬 재보정하여 예측의 정확성과 불확실성 측정을 향상시키는 새로운 방법 소개
고정된 랜덤 분류기로 훈련된 심층 신경망 모델이 도메인 간 전이를 더 잘 수행
고정된 ETF 분류기로 훈련된 DNN 모델은 도메인 간 전이 학습을 효과적으로 개선합니다.
© 2024 by Linnk AI