本研究では、現代ホップフィールドモデルの記憶検索能力を向上させるため、以下の取り組みを行っている。
学習可能な特徴マッピングΦを導入し、ホップフィールドエネルギー関数をカーネル空間に変換する。これにより、エネルギーの局所最小値と検索ダイナミクスの固定点が一致するようになり、新しい類似度尺度として活用できる。
記憶パターン間の分離を最大化する損失関数LΦを定義する。これにより、カーネル空間上で記憶パターンが均一に分布するようになる。
二段階の最適化フォーミュレーション「U-Hop」を提案する。第1段階では分離損失LΦを最小化し、第2段階では標準的なホップフィールドエネルギー最小化を行う。
実験的に、U-Hopが既存の現代ホップフィールドモデルや最先端の類似度尺度を大幅に上回る記憶検索性能を示す。また、深層学習タスクでも大きな性能向上を達成する。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Dennis Wu,Je... ב- arxiv.org 04-08-2024
https://arxiv.org/pdf/2404.03827.pdfשאלות מעמיקות