ORCA의 성공은 임베더 학습과 모델 파인 튜닝의 상대적 기여도에 따라 달라진다. 2D 과제에서는 임베더 학습이 도움이 되지 않지만, 1D 과제에서는 일정 수준의 임베더 학습이 필요하다. 그러나 과도한 임베더 학습은 오히려 성능을 저하시킬 수 있다. 모델 파인 튜닝은 대부분의 과제에서 가장 큰 영향을 미치는 요인이다.
