오랜된 RNN 모델인 LSTM과 GRU를 단순화하여 병렬 학습이 가능한 minLSTM과 minGRU를 제안하였다. 이 모델들은 최신 모델들과 비교해서 성능이 유사하면서도 훨씬 더 효율적으로 학습할 수 있다.
Recurrent networks with hidden neurons can learn to store and robustly retrieve arbitrary sequence patterns, which is not possible for networks without hidden neurons.