ビデオ理解の新しい一般的なフレームワーク「OmniViD」

OmniViDは、ビデオ理解タスクを言語モデリングタスクとして扱い、時間トークンとボックストークンを導入することで、様々なビデオタスクを単一のエンコーダ・デコーダアーキテクチャで扱うことができる。