Core Concepts
本研究では、計算効率と通信効率を両立させる軽量化垂直連合学習(LVFL)の概念を提案する。LVFL では、特徴量モデルの軽量化と特徴量埋め込みの軽量化を個別に行うことで、クライアントの多様な計算能力と通信能力に対応する。また、LVFL のアルゴリズムの収束解析を行い、通信と計算の軽量化誤差、および軽量化比率との関係を明らかにする。
Abstract
本研究では、垂直連合学習(VFL)における計算効率と通信効率の向上を目的とした軽量化垂直連合学習(LVFL)を提案する。
VFLでは、クライアントが異なる特徴量空間を持つが共通のサンプル空間を持つ。クライアントは特徴量モデルを学習し、その特徴量埋め込みを サーバに送信する。サーバはこれらの特徴量埋め込みを統合して最終的な損失関数を計算する。
VFLでは、クライアントの計算能力と通信能力の多様性が課題となる。LVFL では、特徴量モデルと特徴量埋め込みの個別の軽量化手法を提案する。
特徴量モデルの軽量化では、構造化プルーニングを用いて計算効率を高める。特徴量埋め込みの軽量化では、非構造化プルーニングを用いて通信効率を高める。
LVFL のアルゴリズムの収束解析を行い、通信と計算の軽量化誤差、および軽量化比率との関係を明らかにした。実験では、CIFAR-10データセットを用いて、LVFLが計算負荷と通信負荷を大幅に削減しつつ、学習性能を維持できることを示した。
Stats
特徴量モデルの軽量化誤差は、計算軽量化比率αに依存する
特徴量埋め込みの軽量化誤差は、通信軽量化比率βに依存する
Quotes
本研究では、計算効率と通信効率を両立させる軽量化垂直連合学習(LVFL)の概念を提案する。
LVFL では、特徴量モデルの軽量化と特徴量埋め込みの軽量化を個別に行うことで、クライアントの多様な計算能力と通信能力に対応する。
LVFL のアルゴリズムの収束解析を行い、通信と計算の軽量化誤差、および軽量化比率との関係を明らかにした。