엣지 TPU 기반 딥러닝 모델 추론을 위한 엄격한 파티셔닝 스케줄링 전략

Core Concepts

엄격한 파티셔닝 전략은 태스크와 프로세서를 분리된 파티션으로 나누어 파티션 간 간섭을 방지하고, 유사한 병렬성을 가진 태스크를 같은 파티션에 할당하여 파티션 내부 간섭을 줄일 수 있다. 이를 통해 기존 글로벌 갱 스케줄링 기법보다 우수한 스케줄링 성능을 달성할 수 있다.

Abstract

이 논문은 리지드 갱 태스크 모델을 위한 새로운 스케줄링 전략인 엄격한 파티셔닝(strict partitioning)을 제안한다. 엄격한 파티셔닝은 태스크와 프로세서를 분리된 파티션으로 나누어 파티션 간 간섭을 방지한다. 또한 유사한 병렬성을 가진 태스크를 같은 파티션에 할당하여 파티션 내부 간섭을 줄인다. 각 파티션 내에서는 다양한 온라인 스케줄러를 사용할 수 있어 보다 정확한 스케줄링 테스트가 가능하다.
논문에서는 엄격한 파티셔닝의 두 가지 변형인 SP-U와 SP-G를 제안한다. SP-U는 유니프로세서 온라인 스케줄러를 사용하며, 활용도 상한을 증명한다. SP-G는 글로벌 갱 온라인 스케줄러를 사용하며, 성능 향상을 위한 알고리즘 개선을 제안한다.
실험 결과, 엄격한 파티셔닝 기법은 기존 글로벌 갱 스케줄링 기법보다 우수한 스케줄링 성능을 보였다. 특히 저용량 및 중용량 태스크 세트에서 엄격한 파티셔닝이 더 나은 성능을 보였다. 고용량 태스크 세트의 경우 정적 파티셔닝이 더 나은 성능을 보였지만, SP-G는 이를 개선할 수 있었다.

Stats

엣지 TPU 기반 딥러닝 모델 추론 시 구성 시간이 실행 시간보다 훨씬 더 길 수 있다.
엣지 TPU 모델 당 구성 시간은 최대 140ms, 실행 시간은 최대 60ms 수준이다.

Quotes

"엄격한 파티셔닝 전략은 태스크와 프로세서를 분리된 파티션으로 나누어 파티션 간 간섭을 방지하고, 유사한 병렬성을 가진 태스크를 같은 파티션에 할당하여 파티션 내부 간섭을 줄일 수 있다."
"엄격한 파티셔닝의 두 가지 변형인 SP-U와 SP-G를 제안한다. SP-U는 유니프로세서 온라인 스케줄러를 사용하며, SP-G는 글로벌 갱 온라인 스케줄러를 사용한다."

Key Insights Distilled From

Strict Partitioning for Sporadic Rigid Gang Tasks

by Binqi Sun,To... at arxiv.org 03-19-2024

https://arxiv.org/pdf/2403.10726.pdf

Deeper Inquiries

왜 엄격한 파티셔닝 전략이 고용량 태스크 세트에서 정적 파티셔닝보다 성능이 낮을까?

고용량 태스크 세트에서 엄격한 파티셔닝 전략이 정적 파티셔닝보다 성능이 낮을 수 있는 이유는 주로 두 가지 측면에서 설명할 수 있습니다. 첫째로, 고용량 태스크 세트에서는 파티셔닝이 더 복잡해지고 최적화하기 어려워집니다. 엄격한 파티셔닝은 각 파티션에 유사한 볼륨의 태스크를 할당하려는 경향이 있습니다. 그러나 고용량 태스크 세트에서는 다양한 크기와 요구 사항을 가진 태스크들이 포함되어 있기 때문에 이상적인 파티셔닝을 달성하기 어려울 수 있습니다. 둘째로, 고용량 태스크 세트에서는 프로세서 간의 상호작용이 증가할 수 있습니다. 이로 인해 파티션 간 간섭이 더 많아질 수 있고, 이는 스케줄링의 복잡성을 증가시키고 성능을 저하시킬 수 있습니다.

어떻게 엄격한 파티셔닝 전략에서 태스크 할당과 프로세서 분할을 동시에 최적화할 수 있을까?

엄격한 파티셔닝 전략에서 태스크 할당과 프로세서 분할을 동시에 최적화하기 위한 방법은 다음과 같습니다. 먼저, 태스크를 유사한 볼륨을 가진 그룹으로 분류하고, 이러한 그룹을 파티션에 할당하는 방식을 고려할 수 있습니다. 이를 통해 각 파티션 내에서의 상호작용을 최소화하고 효율적인 스케줄링을 달성할 수 있습니다. 또한, 남은 프로세서를 활용하여 파티션의 볼륨을 조정하거나 새로운 파티션을 생성하는 방법을 고려할 수 있습니다. 이를 통해 최적화된 태스크 할당과 프로세서 분할을 동시에 수행할 수 있습니다.

다른 실시간 시스템 응용 분야에 엄격한 파티셔닝 전략을 적용할 수 있는 방법은 무엇일까?

엄격한 파티셔닝 전략은 다양한 실시간 시스템 응용 분야에 적용될 수 있습니다. 예를 들어, 자동차 내 임베디드 시스템에서는 엄격한 파티셔닝을 사용하여 차량 제어 시스템의 안정성과 신뢰성을 향상시킬 수 있습니다. 또한, 의료 기기나 항공 우주 산업에서도 엄격한 파티셔닝을 활용하여 실시간 데이터 처리와 제어 시스템을 구현할 수 있습니다. 또한, 산업 자동화 및 로봇 응용 프로그램에서도 엄격한 파티셔닝을 사용하여 작업 프로세스를 안정적으로 관리하고 최적화할 수 있습니다. 이러한 다양한 응용 분야에서 엄격한 파티셔닝 전략을 적용함으로써 실시간 시스템의 성능과 안정성을 향상시킬 수 있습니다.