그래프 신경망과 비가환 연산자: 안정성, 전이성, 학습 알고리즘 분석
본 논문에서는 다중 모달 그래프 설정에서 그래프 신경망(GNN)을 확장한 그래프-튜플 신경망(GtNN)을 소개하고, GtNN의 안정성, 전이성 및 학습 알고리즘에 대한 이론적 분석을 제시합니다.
グラフニューラルネットワークと非可換演算子
複数のグラフ構造を同時に扱うグラフタプルニューラルネットワーク（GtNN）は、従来のグラフニューラルネットワーク（GNN）よりも優れた安定性と転移学習能力を持つ。
Graph-Tuple Neural Networks: A Theoretical Framework for Multimodal Graph Learning with Stability and Transferability Guarantees
This paper introduces graph-tuple neural networks (GtNNs), a novel framework extending graph neural networks (GNNs) to multimodal graph settings, and provides theoretical analysis of their stability and transferability properties, demonstrating their advantages for learning from multiple graphs with shared vertices.
Bio-xLSTM: 생물학 및 화학적 서열의 생성 모델링, 표현 학습 및 컨텍스트 내 학습
Bio-xLSTM은 Transformer 아키텍처의 제한적인 문맥 길이를 극복하고, DNA, 단백질 및 작은 분자 모델링을 위한 효율적이고 효과적인 아키텍처를 제공합니다.
生物学的および化学的シーケンスの生成モデリング、表現、およびインコンテキスト学習のためのBio-xLSTM
Bio-xLSTMは、Transformerベースのモデルの限界を克服し、DNA、タンパク質、小分子モデリングにおいて優れた性能を発揮する、生物学的および化学的シーケンスのための有望な新しいニューラルネットワークアーキテクチャである。
Bio-xLSTM: A Novel Recurrent Architecture for Efficient and Effective Modeling of Biological and Chemical Sequences
This paper introduces Bio-xLSTM, a novel recurrent neural network architecture specifically designed for modeling long biological and chemical sequences, demonstrating its superior performance in generative modeling, representation learning, and in-context learning across genomics, proteins, and chemistry.
SVDQuant: 4비트 확산 모델을 위한 저랭크 구성 요소를 통한 이상값 처리
SVDQuant는 확산 모델의 가중치와 활성화를 4비트로 양자화하여 메모리 사용량을 줄이고 추론 속도를 높이는 새로운 기법이며, 저랭크 브랜치를 사용하여 이상값을 효과적으로 처리하여 양자화 성능을 향상시킵니다.
SVDQuant：4ビット拡散モデルのための、低ランク成分による外れ値吸収を用いた量子化手法
大規模言語モデルで効果的であった量子化手法を拡散モデルに適用するには、外れ値への対処が課題となる。本稿では、SVDを用いて重み行列を低ランク成分と残差に分解し、外れ値の影響を低減する量子化手法SVDQuantを提案する。これにより、拡散モデルの重みと活性化を4ビットに量子化し、メモリ使用量とレイテンシを大幅に削減しながら、画像品質を維持する。
혼합형 트랜스포머: 멀티모달 기반 모델을 위한 희소하고 확장 가능한 아키텍처
MoT(Mixture-of-Transformers)는 멀티모달 기반 모델의 학습 효율성을 높이기 위해 모달리티별로 파라미터를 분리하는 희소 아키텍처를 제안하며, 다양한 멀티모달 설정에서 기존 밀집 모델 대비 성능 저하 없이 학습 속도 및 효율성을 향상시킵니다.
LoFi：基於隱式神經表示的可擴展局部圖像重建
LoFi 是一種基於坐標的局部圖像重建框架，它利用隱式神經表示，僅使用局部信息即可有效地重建圖像，並在內存使用和泛化能力方面具有顯著優勢。
© 2024 by Linnk AI