Bio-xLSTM: 생물학 및 화학적 서열의 생성 모델링, 표현 학습 및 컨텍스트 내 학습
Bio-xLSTM은 Transformer 아키텍처의 제한적인 문맥 길이를 극복하고, DNA, 단백질 및 작은 분자 모델링을 위한 효율적이고 효과적인 아키텍처를 제공합니다.
生物学的および化学的シーケンスの生成モデリング、表現、およびインコンテキスト学習のためのBio-xLSTM
Bio-xLSTMは、Transformerベースのモデルの限界を克服し、DNA、タンパク質、小分子モデリングにおいて優れた性能を発揮する、生物学的および化学的シーケンスのための有望な新しいニューラルネットワークアーキテクチャである。
Bio-xLSTM: A Novel Recurrent Architecture for Efficient and Effective Modeling of Biological and Chemical Sequences
This paper introduces Bio-xLSTM, a novel recurrent neural network architecture specifically designed for modeling long biological and chemical sequences, demonstrating its superior performance in generative modeling, representation learning, and in-context learning across genomics, proteins, and chemistry.
SVDQuant: 4비트 확산 모델을 위한 저랭크 구성 요소를 통한 이상값 처리
SVDQuant는 확산 모델의 가중치와 활성화를 4비트로 양자화하여 메모리 사용량을 줄이고 추론 속도를 높이는 새로운 기법이며, 저랭크 브랜치를 사용하여 이상값을 효과적으로 처리하여 양자화 성능을 향상시킵니다.
SVDQuant：4ビット拡散モデルのための、低ランク成分による外れ値吸収を用いた量子化手法
大規模言語モデルで効果的であった量子化手法を拡散モデルに適用するには、外れ値への対処が課題となる。本稿では、SVDを用いて重み行列を低ランク成分と残差に分解し、外れ値の影響を低減する量子化手法SVDQuantを提案する。これにより、拡散モデルの重みと活性化を4ビットに量子化し、メモリ使用量とレイテンシを大幅に削減しながら、画像品質を維持する。
혼합형 트랜스포머: 멀티모달 기반 모델을 위한 희소하고 확장 가능한 아키텍처
MoT(Mixture-of-Transformers)는 멀티모달 기반 모델의 학습 효율성을 높이기 위해 모달리티별로 파라미터를 분리하는 희소 아키텍처를 제안하며, 다양한 멀티모달 설정에서 기존 밀집 모델 대비 성능 저하 없이 학습 속도 및 효율성을 향상시킵니다.
LoFi：基於隱式神經表示的可擴展局部圖像重建
LoFi 是一種基於坐標的局部圖像重建框架，它利用隱式神經表示，僅使用局部信息即可有效地重建圖像，並在內存使用和泛化能力方面具有顯著優勢。
LoFi: 암시적 신경 표현을 사용한 확장 가능한 로컬 이미지 재구성
LoFi는 이미지 재구성을 위해 설계된 새로운 신경망 아키텍처로, 기존 CNN보다 메모리 효율성이 높고 새로운 데이터에 대한 일반화 능력이 뛰어나며, 저해상도 이미지를 학습하여 고해상도 이미지 재구성 문제에 적용 가능한 장점을 제공합니다.
LoFi：陰関数表現を用いたスケーラブルな局所画像再構成
LoFiは、陰関数表現（INR）に基づいた新しい局所処理フレームワークであり、従来のCNNと比較してメモリ使用量を大幅に削減しながら、優れた汎化性能と高品質な画像再構成を実現します。
LoFi: A Novel Neural Network Architecture for Scalable Local Image Reconstruction Using Implicit Neural Representations
LoFi, a new neural network architecture inspired by implicit neural representations, offers a scalable and efficient approach to local image reconstruction tasks, outperforming traditional CNNs in terms of memory efficiency and generalization to out-of-distribution data.
© 2024 by Linnk AI