ポルトガル語向けに継続的に事前学習されたT5モデルであるptt5-v2は、いくつかのダウンストリームタスクでSOTAを達成し、言語特化型事前学習の重要性と、大規模言語モデルにおける単一言語モデルの優位性を示唆している。