온-패스 스마트 NIC의 다중 테넌트 지원을 위한 OSMOSIS

Core Concepts

OSMOSIS는 온-패스 스마트 NIC에서 공정한 자원 할당과 QoS 보장을 제공하여 다중 테넌트 지원을 가능하게 한다.

Abstract

이 논문은 온-패스 스마트 NIC의 다중 테넌트 지원을 위한 OSMOSIS 시스템을 소개한다.
온-패스 스마트 NIC는 네트워크 내에서 직접 패킷 처리를 수행하여 지연 시간을 줄일 수 있지만, 다중 테넌트 환경에서 자원 관리 문제가 발생한다. 기존 솔루션은 성능 격리, QoS 제공 등의 다중 테넌트 기능이 부족하다.
OSMOSIS는 이러한 문제를 해결하기 위해 설계되었다. OSMOSIS는 하드웨어 데이터 경로 관리와 유연한 소프트웨어 제어 경로로 구성된다. 하드웨어 데이터 경로에서는 공정한 스케줄링 정책(WLBVT)을 통해 컴퓨팅, DMA, 송신 대역폭을 효율적으로 관리한다. 소프트웨어 제어 경로에서는 테넌트 SLO 정책 관리, 메모리 할당 등의 기능을 제공한다.
OSMOSIS는 오픈소스 온-패스 스마트 NIC 플랫폼 PsPIN에 구현되었으며, 성능 평가 결과 다중 테넌트 지원 기능을 제공하면서도 성능 저하가 적은 것으로 나타났다.

Stats

400Gbit/s 링크에서 64바이트 이하 패킷의 경우 처리 시간이 per-packet budget을 초과한다.
계산 집약적인 워크로드(예: Allreduce)는 PU 자원을 2배 더 많이 사용한다.
I/O 집약적인 워크로드(예: KVS)는 DMA 및 송신 경로 경합으로 인해 지연 시간이 크게 증가할 수 있다.

Quotes

"온-패스 스마트 NIC는 예측 불가능한 실행 시간으로 인해 기존의 다중 테넌트 및 QoS 접근 방식으로는 부족하다."
"OSMOSIS는 하드웨어 데이터 경로 관리와 유연한 소프트웨어 제어 경로로 구성되어 다중 테넌트 지원을 제공한다."

Key Insights Distilled From

OSMOSIS

by Mikhail Khal... at arxiv.org 03-14-2024

https://arxiv.org/pdf/2309.03628.pdf

Deeper Inquiries

온-패스 스마트 NIC의 다중 테넌트 지원을 위해 어떤 추가적인 기술 발전이 필요할까?

온-패스 스마트 NIC의 다중 테넌트 지원을 향상시키기 위해서는 몇 가지 기술적 발전이 필요합니다. 첫째, 더 효율적인 리소스 관리를 위한 더욱 정교한 스케줄링 알고리즘이 필요합니다. 현재 사용 중인 WLBVT와 DWRR은 효율적이지만 더 복잡한 다중 테넌트 환경에서 더욱 효과적인 스케줄링 알고리즘이 필요할 것입니다. 둘째, 보다 세밀한 메모리 관리 및 보안 기능이 필요합니다. 다중 테넌트 환경에서는 메모리 접근 및 보안이 중요한데, 이를 위한 더욱 강력한 메커니즘이 필요할 것입니다. 마지막으로, 더 많은 테넌트를 지원하기 위한 확장성이 중요합니다. 현재의 구현은 128개의 테넌트까지 지원하고 있지만, 더 많은 테넌트를 지원하기 위한 기술적 발전이 필요할 것입니다.