Core Concepts
정확도 ε ≥ e^{-do(1)}인 가능성 문제에서 어떤 결정론적 알고리즘은 d^{1+δ} 비트의 메모리를 사용하거나 최소 1/(d^{0.01δ}ε^{2(1-δ)/(1+1.01δ)-o(1)}) 개의 오라클 쿼리를 수행해야 하며, 어떤 확률론적 알고리즘은 d^{1+δ} 메모리를 사용하거나 최소 1/(d^{2δ}ε^{2(1-4δ)}-o(1)) 개의 쿼리를 수행해야 한다. 따라서 그래디언트 하강법은 오라클 복잡도와 메모리 사용량 간의 트레이드오프에서 파레토 최적이다.
Abstract
이 논문은 가능성 문제에 대한 오라클 복잡도 하한을 제공한다. 가능성 문제는 단위 d차원 볼 안에 포함되어 있고 반경 ε > 0인 볼을 포함하는 집합에 대해 분리 오라클에 접근할 수 있는 메모리 제한 알고리즘을 통해 해결하는 것이다.
주요 결과는 다음과 같다:
- 정확도 ε ≥ e^{-do(1)}인 가능성 문제에서 어떤 결정론적 알고리즘은 d^{1+δ} 비트의 메모리를 사용하거나 최소 1/(d^{0.01δ}ε^{2(1-δ)/(1+1.01δ)-o(1)}) 개의 오라클 쿼리를 수행해야 한다.
- 어떤 확률론적 알고리즘은 d^{1+δ} 메모리를 사용하거나 최소 1/(d^{2δ}ε^{2(1-4δ)}-o(1)) 개의 쿼리를 수행해야 한다.
- 이 결과는 그래디언트 하강법이 오라클 복잡도와 메모리 사용량 간의 트레이드오프에서 파레토 최적임을 보여준다.
- 또한 메모리가 d^2 미만인 경우 결정론적 알고리즘의 오라클 복잡도는 항상 1/ε에 대해 다항식이라는 것을 보여준다. 이는 메모리가 d^2인 경우 절단면 방법이 O(d ln 1/ε) 쿼리만 필요한다는 것과 대조된다.
Stats
정확도 ε ≥ e^{-do(1)}인 가능성 문제에서 결정론적 알고리즘은 d^{1+δ} 비트의 메모리를 사용하거나 최소 1/(d^{0.01δ}ε^{2(1-δ)/(1+1.01δ)-o(1)}) 개의 오라클 쿼리를 수행해야 한다.
확률론적 알고리즘은 d^{1+δ} 메모리를 사용하거나 최소 1/(d^{2δ}ε^{2(1-4δ)}-o(1)) 개의 쿼리를 수행해야 한다.
Quotes
"정확도 ε ≥ e^{-do(1)}인 가능성 문제에서 어떤 결정론적 알고리즘은 d^{1+δ} 비트의 메모리를 사용하거나 최소 1/(d^{0.01δ}ε^{2(1-δ)/(1+1.01δ)-o(1)}) 개의 오라클 쿼리를 수행해야 한다."
"어떤 확률론적 알고리즘은 d^{1+δ} 메모리를 사용하거나 최소 1/(d^{2δ}ε^{2(1-4δ)}-o(1)) 개의 쿼리를 수행해야 한다."