核心概念
NOSTR プロトコルを活用して、分散型の学習と大規模言語モデルの訓練のためのマーケットプレイスを設計する。顧客は学習データセットを提供し、サービスプロバイダは報酬と引き換えにモデルを最適化する。
要約
本論文では、NOSTR プロトコルを活用して分散型の学習と大規模言語モデルの訓練のためのマーケットプレイスを設計する方法を提案する。
まず、NOSTR プロトコルの基本的な構造と機能について説明する。NOSTR は分散型のソーシャルウェブプロトコルで、検閲に強く、ユーザー間の通信を暗号化して行うことができる。
次に、NOSTR プロトコル上で既に実現されている分散型データ処理の仕組みを説明する。ユーザー(顧客)がデータを提供し、サービスプロバイダがそれを処理して結果を返す、いわゆる「Money-In Data-Out」のマーケットプレイスが存在する。
本論文では、この仕組みを拡張して「Money-In AI-Out」のマーケットプレイスを提案する。顧客がデータセットと学習モデルの仕様を提供し、サービスプロバイダがそれを最適化して返す、という流れである。具体的には、連続的な学習ラウンドを経て、最終的な学習モデルを得るプロトコルフローを設計する。
また、サービスプロバイダの出力の検証方法や、支払いの仕組み、サービスプロバイダの発見と選択の方法などについても詳しく説明する。
最後に、提案するマーケットプレイスの実装例として、連邦学習(FedAvg)と大規模言語モデルの分散低通信学習(DiLoCo)のアルゴリズムを示す。
統計
学習データセットのソースは暗号化されたURLで提供される
推奨ハードウェア仕様が指定される
出力の検証ルールが指定される
最大実行時間が指定される