PyTorch의 자동 미분 엔진은 매개변수의 미분 가능성 정보를 무시하고 계산 그래프를 저장하지만, 이 정보를 활용하면 매개변수가 미분되지 않는 선형 레이어의 입력을 저장하지 않아 메모리를 절감할 수 있다.
