Alapfogalmak
効果的な事前トレーニングには、少数の独立したタスクが必要であり、Bayes最適アルゴリズムに近い結果を達成することが可能である。
Statisztikák
Transformers pretrained on diverse tasks exhibit remarkable in-context learning capabilities.
Effective pretraining only requires a small number of independent tasks.