본 논문에서는 신경망 가지치기에서 기존의 가중치 중요도 기반 기준 선택보다 미세 조정과 적응형 비율 설정이 모델의 성능 및 강건성에 더 큰 영향을 미친다는 것을 실험적으로 증명하고, 이를 기반으로 새로운 가지치기 및 미세 조정 프레임워크를 제시합니다.
While pruning criteria are important, fine-tuning, especially with adaptive pruning ratios based on adversarial sensitivity, plays a more significant role in achieving both accuracy and robustness in compressed neural networks.
本文提出了一種新穎的框架 LLM-GCE,利用大型語言模型 (LLM) 的推理能力和領域知識來生成更真實、更易於理解的圖反事實解釋,以提高圖神經網路 (GNN) 在分子特性預測方面的透明度和可靠性。
본 논문에서는 대규모 언어 모델(LLM)을 활용하여 분자 특성 예측을 위한 그래프 신경망(GNN)의 설명력과 해석 가능성을 향상시키는 새로운 그래프 반사실적 설명(GCE) 방법론인 LLM-GCE를 제안합니다.
本稿では、大規模言語モデル(LLM)を用いて、分子特性予測におけるグラフニューラルネットワーク(GNN)の予測根拠を説明する、新しいグラフ反事実説明(GCE)手法を提案する。
為了克服類比記憶體內運算 (AIMC) 加速器在資料平行訓練上的限制,本文提出了同步和非同步管線平行化方法,並提供了理論上的收斂保證,證明了管線訓練在 AIMC 加速器上的效率。
대규모 심층 신경망 모델의 학습을 가속화하기 위해 아날로그 메모리 내 컴퓨팅(AIMC) 가속기에서 동기식 및 비동기식 파이프라인 병렬 처리 방식을 적용하여 효율성을 높이고 계산 밀도를 향상시키는 방법을 제시합니다.
大規模な深層学習モデルのトレーニングを高速化するために、アナログメモリ内コンピューティング(AIMC)アクセラレータは大きな可能性を秘めているが、データ並列処理に制約がある。本稿では、AIMCアクセラレータにおける同期および非同期パイプライン並列処理を提案し、その収束保証と高速化の可能性を示す。
Pipeline parallelism, particularly the novel asynchronous approach, significantly accelerates the training of large deep neural networks on Analog In-Memory Computing (AIMC) accelerators, despite challenges posed by noisy gradients and update asymmetry inherent to analog hardware.
本文綜述了基於神經網路利用可比數據自動提取翻譯對等詞的方法,並從詞彙學角度分析了這些方法,指出自然語言處理領域在尋找翻譯對等詞時經常忽略的關鍵詞彙學面向,強調將詞彙學見解融入自然語言處理研究以提高模型效能的重要性。