神經網絡算法推理的位置注意力：分布外泛化和表達能力

本文提出使用固定位置編碼來確定注意力權重(稱為位置注意力)可以提高經驗分布外性能,同時保持表達能力。