高次対称性を活用した頑健な機械学習モデルのための圏論的フレームワーク
高次対称性と圏論を機械学習に統合することで、より頑健で一般化性の高いモデルを構築できる。
非IIDデータ、非凸目的関数、確率的勾配を持つ階層的SGDの収束解析
階層的SGDにおける局所集約の効果を理論的に解明し、局所集約が非IIDデータに対する収束を改善できることを示す。
アルゴリズミック公平性における公平性代替関数の理解
公平性代替関数は、公平性定義と大きな差異があり、不公平な結果や高い不安定性をもたらす可能性がある。本研究では、この問題に取り組むため、一般的なシグモイド代替関数を提案し、公平性と安定性の保証を示す。さらに、代替関数の差異を縮小する新しい手法「Balanced Surrogate」を提案する。
予測の回数を削減したキャッシングとMTSのアルゴリズム
予測を効率的に活用することで、最悪ケースの性能を超えるアルゴリズムを設計する。
SecureBoostの過剰なハイパーパラメータ最適化による制約付き多目的連合学習
SecureBoostアルゴリズムの欠点である、プライバシー漏洩と適切なハイパーパラメータ最適化の問題を解決するため、インスタンスクラスタリング攻撃(ICA)を提案し、それを防ぐ2つの防御手法を開発した。さらに、効用損失、学習コスト、プライバシー漏洩の3つの目的関数を同時に最小化する制約付き多目的SecureBoost(CMOSB)アルゴリズムを提案した。
高精度な確率的サンプリングアルゴリズムによるロジスティック回帰
ロジスティック回帰問題において、観測数が予測変数の数を大幅に上回る場合に、簡単な確率的サンプリングアルゴリズムを提案し、推定確率と全体的な誤差の高精度な近似を保証する。
ガウス分布下での半空間交差の学習: 改善されたアルゴリズムとSQ下限
本論文では、ガウス分布下での半空間交差の効率的なTDS学習アルゴリズムを提案し、さらにSQ下限を示した。ガウス分布下での単一半空間のTDS学習は既に解決されているが、半空間交差の場合はより複雑な問題であり、本研究では大幅な改善を達成した。
適応型最適化手法RMSPropとAdamの非凸最適化問題における収束保証
本論文は、座標ごとの一般化滑らかさ(L0, L1)と線形ノイズ分散を仮定した下で、RMSPropとAdamの収束保証と収束速度を示した。両手法とも適切なハイパーパラメータ設定の下で、ε-定常点に収束することを示し、その複雑度はε-4と最適であることを明らかにした。
近似ベイズ最適アルゴリズムの不確実性定量化
一般的な機械学習アルゴリズムは、未知のタスク分布上で近似ベイズ最適であることが多い。このような場合、マルチンゲール後見分布を構築することで、明示的にベイズ事後分布を知らなくても、その近似を得ることができる。
差分プライバシーを持つ DP-SGD の実際のプライバシー保証
DP-SGDのプライバシー保証は、バッチサンプリングの方法によって大きく異なる。シャッフルベースのDP-SGDは実装では一般的だが、プライバシー分析が難しく、一方ポアソンサブサンプリングベースのDP-SGDは分析が容易だが実装が難しい。この差異により、ポアソンサブサンプリングのプライバシー分析を用いてシャッフルベースのDP-SGDのプライバシーを報告することは、大幅な過小評価につながる可能性がある。
© 2024 by Linnk AI