MetaLA：ソフトマックスアテンションマップへの統一的な最適線形近似
MetaLAは、従来のソフトマックスアテンションの quadratic な計算コスト問題に対処するために、LinFormer、SSM、LinRNN などの既存の線形複雑性モデルを統一的な視点から分析し、最適な線形近似を実現する新しい線形アテンション機構である。
複數空間中用於優化的混合牛頓法及其在實數函數最小化中的應用
本文提出了一種正則化混合牛頓法（RMNM），用於最小化實數變數和複數變數的實值函數，並證明了該方法在訓練神經網絡方面優於傳統方法。
복소 공간에서 최적화를 위한 정규화된 혼합 뉴턴 방법과 실변수 함수 최적화への 적용
본 논문에서는 실수값 함수의 최적화를 위해 최근에 도입된 혼합 뉴턴 방법(MNM)을 수정하여 적용하고, 특히 실변수 함수를 복소 공간으로 확장하여 적용하는 방법을 제시합니다.
複素空間における最適化のための正則化混合ニュートン法
本稿では、実数値関数の最小化に特化した混合ニュートン法の改良版を提案し、その有効性を示します。
Regularized Mixed Newton Method for Global Optimization of Real Analytic Functions
The regularized mixed Newton method (RMNM) applied to real analytic functions in complex space exhibits superior global convergence properties compared to traditional methods by leveraging the repulsive nature of saddle points in complex space, effectively converging to global minima while outperforming in specific machine learning tasks.
印刷されたMLPのための離散遺伝的トレーニングへのハードウェア近似の埋め込み
本稿では、印刷されたMLPの面積と消費電力を大幅に削減するために、ハードウェア近似をトレーニングプロセスに統合した遺伝的アルゴリズムベースのトレーニング手法を提案している。
画像超解像技術を用いた深層学習ベースのチャネル知識マップ構築
本稿では、スパースなチャネル測定データから完全なチャネル知識マップ(CKM)を構築するために、画像超解像技術、特にSRResNetを用いた新しい深層学習ベースの手法を提案する。
SASE：一種用於搜尋壓縮與激勵操作的架構
本文提出了一種名為 SASE 的新型神經架構搜尋方法，專門用於自動設計基於壓縮與激勵範式的注意力模組，並通過在圖像分類、目標檢測和實例分割等任務上的實驗證明了其相較於現有手工設計模組的優越性能。
フル精度モデルにおける効果的なビットフリップ攻撃
深層学習モデルのパラメータにおける重要なビットを効率的に特定して反転させることで、モデルの精度を大幅に低下させることが可能であり、その手法として、モデル全体の重みを考慮した攻撃と、検出回避のために重みの分布を維持するステルス攻撃が有効である。
FRUGAL: 대규모 학습을 위한 메모리 효율적인 최적화 프레임워크 - 상태 오버헤드 감소를 통한 전체 파라미터 학습
FRUGAL은 고차원 매개 변수 공간에서 효율적인 탐색을 가능하게 하여 대규모 언어 모델의 학습을 위한 메모리 효율적인 최적화 프레임워크를 제시하며, Adam과 같은 고급 알고리즘과 signSGD와 같은 상태 비유지 최적화 방법을 결합하여 메모리 효율성과 성능 간의 균형을 맞춥니다.
© 2024 by Linnk AI