核心概念
本研究では、時系列センサデータの特徴を時間畳み込み埋め込みとGenerative Pre-trained Transformerを用いて学習し、教師なしで異常検知を行うモデルTRACE-GPTを提案する。
要約
本研究では、半導体製造における時系列センサデータの異常検知に取り組んでいる。半導体製造では、異常データが少ないなどの課題があり、教師なし学習が重要となる。
まず、時間畳み込みネットワーク(TCN)を用いて時系列データの特徴を抽出する。次に、Transformerデコーダを用いて、前の値から次の値を予測するという教師なし前学習を行う。これにより、異常値を検知することができる。
実験では、オープンデータセットのUCRと、実際の半導体製造装置のデータを用いて評価を行った。TRACE-GPTは、教師なし学習にもかかわらず、既存の教師あり手法に迫る性能を示した。特に、訓練データが少ない場合や、正常データに異常が混在する場合でも良好な結果が得られた。
また、Transformerの注意機構を可視化することで、モデルの判断過程を理解しやすくした。このように、TRACE-GPTは半導体製造における時系列異常検知に有効な手法であると示された。
統計
半導体製造装置のデータでは、正常データ567個、異常データ8個が含まれている。
UCRデータセットでは、正常データ5499個、異常データ665個が含まれている。