バイディレクショナルモデルを増分的処理モードで使用することが可能であり、非増分的品質の大部分を維持できることが示された。より高い非増分的パフォーマンスを達成するBERTモデルは、増分的アクセスによってより大きな影響を受ける。ただし、訓練方法の適応や出力の遅延、言語モデルによる仮想的な右文脈の活用によって、この影響を緩和できる。