本研究では、変換言語モデルがフィラートークンを使うことで、チェーン思考なしでは解けない2つの難しいアルゴリズム課題を解くことができることを示した。
具体的には以下の点が明らかになった:
3SUM問題について、長さ12以上の入力に対して、フィラートークンを使うモデルは100%の正解率を達成するのに対し、チェーン思考なしのモデルは66%程度の正解率しか得られない。
フィラートークンを使うモデルの中間表現には、最終的な3SUM予測に関連する隠れた計算処理が含まれていることが確認された。
2SUM-Transform問題においても、フィラートークンを使うモデルは、チェーン思考なしのモデルよりも高い性能を示した。
フィラートークンを使う学習は困難であり、密な監督が必要である。チェーン思考のデータだけでは不十分で、並列可能な分解アルゴリズムの教示が必要である。
これらの結果は、現在の大規模言語モデルではフィラートークンの利点が見られないものの、より大規模なモデルでは、フィラートークンを活用できる可能性があることを示唆している。
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies