産業用アセンブリラインにおける手の動作認識のための基盤モデル自動データ拡張戦略とスケルトンポイントの活用

Core Concepts

現実のアセンブリラインで効率的かつ高品質な大規模データセット拡張を実現するための戦略と、手の動作認識問題を解決する方法が提案されています。

Abstract

現代の産業用アセンブリラインでは、AIアルゴリズムが従業員を置き換えるか監督するために開発されています。
既存研究は、行動認識がこれらのアルゴリズムの中核的なタスクであることを探求しています。
産業用データセット不足やリアルタイム性能問題を解決するために、基盤モデルとスケルトンポイントを活用した新しい戦略が提案されています。
手の動作認識精度は98.8%に達し、Midea社の実際のアセンブリラインで展開されました。
自動工業データ拡張戦略

blip2、glip、vitモデルを使用して工業データセットを拡張します。
実際のアセンブリラインから得られた映像データから11,865枚の画像へ自動的に拡張されました。
スケルトンベース行動認識

LSTM時系列モデルを使用して骨格点行動分類を訓練します。
SBTメソッドは98.8%という高い精度で働く労働者の微細な運動も認識可能です。
スライディングウィンドウメソッド

リアルタイムパフォーマンス要件を考慮して、LSTM入力データ次元が一貫性を持つようにスライディングウィンドウメカニズムが組み込まれます。

Stats

工業用特殊検出小型モデルは42.81FPSで0.893の精度を達成しました。
SBTメソッドは98.8%という高い精度で働く労働者の微細な運動も認識可能です。

Quotes

Key Insights Distilled From

Leveraging Foundation Model Automatic Data Augmentation Strategies and Skeletal Points for Hands Action Recognition in Industrial Assembly Lines

by Liang Wu,X.-... at arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.09056.pdf

Deeper Inquiries

この研究は実際に製造会社から収集したビデオから得られた情報に基づいています

この研究では、Mideaという代表的な製造会社からデータを収集しました。具体的には、電気給湯器の配線ステーションでのビデオやMideaの研究室で収集したビデオを使用しました。これらのビデオにはケーブル挿入および抜去アクションが含まれていました。元々の組立ラインビデオや研究室ビデオをカットしてフィルタリングし、ラボラトリービデオに手動でラベル付けを追加しました。

この情報収集プロセスはどのように進行しましたか

この研究では、専門小型検出モデルと未訓練GLIPおよびGrounding Dinoと比較されました。特化した小型モデルは高速性能（42.81FPS）と優れた精度（0.893）を達成しました。他方、未訓練GLIPやGrounding Dinoはそれぞれ6.11FPS/0.671および8.37FPS/0.694であったことからも明らかなように、専門小型モデルは両者に比べて高速かつ正確な機能性を持っています。そのため、実際の産業現場向けに展開する際に有益です。

この研究では、人間手部位検出専門小型モデルと未訓練GLIPおよびGrounding Dinoと比較しました

SBTメソッドでは骨格点数やスライディングウィンドウサイズなど多くのパラメータがあります。例えば、「Cut pictures」列では手部位検出後の動作認識が行われます。「Select skeletal points」列では40個すべての骨格点または18個最も活発な親指と人差指骨格点が選択されます。「Sliding window」列でも同様です。
異なるパラメータ設定ごとに評価した結果から見る限り、各パラメータ変更が性能・精度に与える影響が示唆されます。例えば、「Sliding window method」ではβ=16, γ=1時が最も高い精度(0.988)だったことからも適切なパラメータ設定重要性が浮き彫りにされます。