JAX 기반 대규모 분산 및 연합 계산을 지원하는 FAX 라이브러리

FAX는 JAX의 분할 메커니즘을 활용하여 TPU와 최신 JAX 런타임을 네이티브로 대상으로 하는 대규모 분산 및 연합 계산을 지원합니다. FAX는 연합 계산을 기본 연산으로 구현하여 세 가지 주요 이점을 제공합니다: 1) FAX 계산을 XLA HLO로 변환할 수 있습니다. 2) FAX는 연합 자동 미분(federated AD)의 완전한 구현을 제공하여 연합 계산의 표현을 크게 단순화합니다. 3) FAX 계산을 기존 프로덕션 크로스 디바이스 연합 컴퓨팅 시스템으로 해석할 수 있습니다.