Kernekoncepter
Ein neuartiger konvertierender Autoencoder wandelt schwierige Bilder effizient in einfache Bilder um, die dann von einem leichtgewichtigen KI-Modell für eine schnelle und energiesparende Inferenz an der Edge verarbeitet werden.
Resumé
Das vorgestellte CBNet-Framework nutzt einen neuartigen "konvertierenden" Autoencoder, um schwierige Bilder in einfache Bilder derselben Klasse umzuwandeln. Diese umgewandelten Bilder werden dann von einem leichtgewichtigen KI-Modell für eine schnelle und energieeffiziente Inferenz an der Edge verarbeitet.
Der Autoencoder wurde unter Verwendung eines frühen Exitmodells (BranchyNet) trainiert, um Bilder als "einfach" oder "schwierig" zu klassifizieren. Der Autoencoder lernt, eine effiziente Darstellung schwieriger Bilder zu erstellen, die dann in einfache Bilder derselben Klasse dekodiert werden können.
Die Inferenzlatenz von CBNet ist die Summe der Ausführungszeiten des Autoencoders und des leichtgewichtigen KI-Modells. Experimente auf einem Raspberry Pi 4, einer Google Cloud-Instanz mit und ohne GPU zeigen, dass CBNet eine bis zu 4,8-fache Beschleunigung der Inferenzlatenz und eine Reduzierung des Energieverbrauchs um bis zu 79% im Vergleich zu konkurrierenden Techniken erreicht, ohne dabei die Genauigkeit zu beeinträchtigen.
Statistik
Die Verwendung des BranchyNet-Modells zur Klassifizierung von Bildern als "einfach" oder "schwierig" führt dazu, dass nur 5% der Bilder im MNIST-Datensatz als schwierig eingestuft werden, während es bei FMNIST 23% und bei KMNIST 37% sind.
Citater
"CBNet erreicht eine bis zu 4,8-fache Beschleunigung der Inferenzlatenz und eine Reduzierung des Energieverbrauchs um bis zu 79% im Vergleich zu konkurrierenden Techniken, ohne dabei die Genauigkeit zu beeinträchtigen."