EdgeOL: Efficient in-situ Online Learning on Edge Devices

Core Concepts

EdgeOL optimizes inference accuracy, fine-tuning execution time, and energy efficiency through inter-tuning and intra-tuning optimizations.

Abstract

Abstract:

Emerging applications use DNNs on edge devices.
Immediate online learning is energy inefficient.
EdgeOL reduces fine-tuning time by 64% and energy consumption by 52%.

Introduction:

DNN models on edge devices need adaptiveness and energy efficiency.
Immediate online learning guarantees high accuracy but is less energy efficient.

Challenges and Opportunities:

Fine-tuning frequency affects execution time, energy consumption, and accuracy.
Layer freezing can reduce computation costs without compromising accuracy.

EdgeOL Design:

DAF dynamically adjusts fine-tuning frequency based on training data availability, inference intensity, and scenario changes.
SimFreeze freezes layers based on self-representational similarity to guide layer freezing.

Utilizing Unlabeled Data:

Semi-supervised learning technique used to make use of both labeled and unlabeled data.

Stats

平均的なファインチューニング実行時間を64％削減します。
エネルギー消費を52％削減します。

Quotes

Key Insights Distilled From

EdgeOL

by Sheng Li,Gen... at arxiv.org 03-19-2024

https://arxiv.org/pdf/2401.16694.pdf

Deeper Inquiries

ファインチューニング頻度の調整が精度にどのように影響するか？

ファインチューニング頻度を動的に調整することは、モデルの精度とエネルギー効率に重要な影響を与えます。例えば、適切なファインチューニング頻度を維持することで、コスト対効果が向上し、余分な計算やエネルギーコストを削減できます。また、推論リクエストの密度が高い場合はファインチューニング頻度を増やすことでモデルを常に最新の状態に保つことが可能です。

シナリオ変更時に凍結されたレイヤーをどのように再開するか？

シナリオ変更時に凍結されたレイヤーは、その安定性や新しいシナリオへの適応性に基づいて再開されます。具体的には、CKA（Centered Kernel Alignment）値などの指標を使用して各凍結レイヤーの収束状況を評価し、新しいシナリオへ適応しなければならない不安定なレイヤーだけを再開します。

オンライン学習プロセス全体の計算コストはどれくらいですか？

NC benchmarkデータセットで行われた実験では、「Immed.」および「EdgeOL」フレームワーク間で比較した際、「EdgeOL」ではResNet50およびMobileNetV2それぞれで約3,037 TFLOPsおよび124 TFLOPsまで計算コストが削減されました。この結果からも、「EdgeOL」フレームワークが全体的な計算コスト削減効果があることが示唆されます。