28.6 mJ/iter Stable Diffusion Processor for Text-to-Image Generation

核心概念

고품질 이미지 생성을 위한 안정적인 확산 프로세서

摘要

Abstract

• 안정적인 확산 프로세서 소개
• 모바일 플랫폼에 안정적인 확산의 배포를 방해하는 특성
• 제안된 프로세서의 핵심 기능: 패치 유사성 기반 희소성 증가, 텍스트 기반 중복 정밀도, 이중 모드 비트 슬라이스 코어 아키텍처

Introduction

• 생성적 AI 수요 증가
• 안정적 확산의 강점과 상용화
• 안정적 확산 모델 개요 및 주요 도전 과제

Effective Compression of Self-Attention Score

• 자기 주의 점수 비트맵 희소성 증가
• 패치 유사성 기반 XOR 유닛 소개
• 제안된 PSSA의 성능 분석

Text-based Mixed-Precision Processing

• 텍스트 기반 중복 정밀도 처리 소개
• 제안된 TIPS의 하드웨어 데이터 흐름
• 이중 모드 비트 슬라이스 코어(DBSC) 아키텍처 설명

Implementation Results

• 제안된 SD 프로세서의 레이아웃 사진 및 성능 요약
• 텍스트에서 이미지 생성 결과 및 평가
• 이전 트랜스포머 및 생성적 AI 프로세서와의 비교

統計資料

안정적 확산 프로세서는 28nm CMOS 기술로 구현되었으며 3.84 TOPS의 최대 처리량을 달성
제안된 프로세서는 225.6 mW의 평균 전력 소비와 28.6 mJ/iteration의 에너지 효율성을 달성

引述

"제안된 SD 프로세서는 MS-COCO 데이터 세트에서 28.6 mJ/iteration의 높은 에너지 효율성을 달성할 수 있습니다."
"패치 유사성 기반 희소성 증가(PSSA)는 SAS의 EMA 에너지를 60.3% 감소시킵니다."

從以下內容提煉的關鍵洞見

A 28.6 mJ/iter Stable Diffusion Processor for Text-to-Image Generation with Patch Similarity-based Sparsity Augmentation and Text-based Mixed-Precision

by Jiwon Choi,W... 於 arxiv.org 03-11-2024

https://arxiv.org/pdf/2403.04982.pdf

深入探究

어떻게 안정적 확산 프로세서가 다른 이미지 생성 방법과 비교됩니까?

안정적 확산 프로세서는 이미지 생성에 안정적인 결과를 제공하면서 에너지 효율성을 높이는 데 중점을 둡니다. 다른 이미지 생성 방법과 비교할 때 안정적 확산은 텍스트를 이미지로 변환하는 과정에서 특히 뛰어난 성능을 보입니다. 안정적 확산은 텍스트 인코딩, 반복적인 노이즈 제거 과정, 이미지 디코딩을 통해 이미지를 생성하는 과정을 거칩니다. 이러한 과정에서 안정적 확산은 텍스트 정보를 효과적으로 활용하여 원하는 이미지를 생성하는 데 성공합니다. 또한 안정적 확산 프로세서는 패치 유사성 기반 희소성 증가 및 텍스트 기반 혼합 정밀도를 통해 에너지 효율성을 향상시키는 기능을 제공합니다.

안정적 확산의 모바일 배포에 대한 다른 해결책은 무엇입니까?

안정적 확산의 모바일 배포에 대한 다른 해결책은 주로 메모리 및 계산 요구 사항을 줄이는 데 초점을 맞춥니다. 모바일 장치에서 안정적 확산을 효율적으로 사용하기 위해서는 주로 두 가지 주요 도전 과제를 해결해야 합니다. 첫째, 트랜스포머 단계에서의 어텐션 계산은 외부 메모리 액세스(EMA) 에너지를 상당량 필요로 합니다. 둘째, 반복적인 UNet의 계산량이 과도하게 많습니다. 이에 대한 해결책으로는 패치 유사성 기반 희소성 증가(PSSA), 텍스트 기반 중요 픽셀 스팟팅(TIPS), 이중 모드 비트 슬라이스 코어(DBSC) 아키텍처 등이 제안되어 안정적 확산의 모바일 배포를 개선하는 데 도움이 됩니다.

이중 모드 비트 슬라이스 코어(DBSC) 아키텍처가 다른 AI 프로세서에 어떤 영향을 미칩니까?

이중 모드 비트 슬라이스 코어(DBSC) 아키텍처는 혼합 정밀도 계산을 지원하고 입력 및 가중치 정지 모드를 지원하여 CNN 및 트랜스포머 레이어의 데이터 재사용성을 최적화합니다. DBSC 아키텍처는 각 PE 열이 16개의 PE로 구성된 PE 배열을 포함하며, 각 PE에는 비트 슬라이서와 두 개의 비트 슬라이스 PE(BSPE)가 포함되어 있습니다. 이를 통해 DBSC는 FFN 레이어에서 에너지 효율성을 43.0% 향상시킵니다. 또한 DBSC 아키텍처는 CNN 및 트랜스포머 레이어에 대한 데이터 재사용성을 최적화하여 다른 AI 프로세서에 비해 더 효율적인 계산을 가능하게 합니다.