CAREER: A Foundation Model for Labor Sequence Data

Core Concepts

CAREERは、大規模な履歴データを使用して職業の予測モデルを構築するための変形器を活用する。

Abstract

労働経済学において、職業の将来を予測するモデルは重要であり、より正確な予測モデルは重要な数量の信頼性ある推定値への扉を開く。本論文では、職業の予測モデルを構築するために表現学習手法である変形器が使用されており、大規模な履歴データから事前学習された後、経済学的な小規模なデータセットに微調整されている。変形器は、単語のシーケンスをモデリングするために開発されましたが、CAREERは仕事のシーケンスをモデリングするために変形器を使用しています。このモデルはNLPで使用される変形器と似ていますが、2つの修正が加えられています。まず第1段階では、キャリア表現が低次元表現としてパラメータ化されます。次に、言語モデルが以前の単語にだけ依存している一方で、各キャリアは遷移分布に影響を与える可能性がある共変量xと関連付けられていることから、それらも考慮します。

Stats

CAREER forms accurate predictions of job sequences, outperforming econometric baselines on three widely-used economics datasets.
Incorporating CAREER into a wage model provides better predictions than the econometric models currently in use.
We fit CAREER to a dataset of 24 million job sequences from resumes.
CAREER can be used to form good predictions of other downstream variables.
Labor economists regularly analyze employment data by fitting predictive models to small, carefully constructed longitudinal survey datasets.

Quotes

"More accurate predictive models opens the door to more reliable estimates of these important quantities."
"Transformers are able to model complex dependencies between words, and they are a critical component of large language models."

Key Insights Distilled From

CAREER

by Keyon Vafa,E... at arxiv.org 03-01-2024

https://arxiv.org/pdf/2202.08370.pdf

Deeper Inquiries

どうやってCAREERは他の下流変数の良い予測値を提供できますか？

CAREERは、職歴データから複雑なパターンを抽出するためにTransformerを使用しています。このモデルは、職業遷移の予測において、前回の職業や観察された特徴量と共に低次元表現を活用します。このようなアプローチにより、キャリア履歴全体から重要な情報が抽出され、将来の職業や他の下流変数を正確に予測する能力が向上します。さらに、二段階モデルを採用することで、「ジョブチェンジ」および「具体的な次の仕事」への予測精度が高まります。