1兆トークンを超える最大規模の多様なマルチモーダルデータセット「MINT-1T」

Основные понятия

MINT-1Tは、これまでで最大規模かつ最も多様なオープンソースのマルチモーダルデータセットであり、1兆トークンと34億枚の画像を含んでいる。

Аннотация

MINT-1Tは、オープンソースの大規模マルチモーダルモデルの開発に不可欠な、これまでで最大規模かつ最も多様なマルチモーダルデータセットである。従来のオープンソースデータセットに比べ、MINT-1Tは10倍の規模を持ち、HTMLドキュメントに加えPDFやArXivなどの新しいソースからデータを収集している。

データ収集の過程では、大規模化に伴う多くの技術的課題に取り組み、テキストの品質フィルタリング、重複除去、安全性確保などの工夫を行っている。

実験の結果、MINT-1Tで事前学習したモデルは、これまでの最良のオープンソースデータセットであるOBELICSで学習したモデルと同等以上の性能を示した。特に、科学技術分野のタスクでの性能が向上しており、PDFやArXivからのデータ収集が有効であったことが示唆される。

MINT-1Tの公開により、オープンソースのマルチモーダルモデル開発が大きく前進することが期待される。

Статистика

1兆トークンのテキストデータと34億枚の画像を含む
HTMLドキュメントに加え、PDFやArXivなどの新しいソースからデータを収集

Цитаты

なし

Ключевые выводы из

MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trillion Tokens

by Anas Awadall... в arxiv.org 09-23-2024

https://arxiv.org/pdf/2406.11271.pdf

Дополнительные вопросы

MINT-1Tの収集対象にはどのようなドメインが含まれているのか、その特徴を詳しく分析することはできないだろうか。

MINT-1Tは、さまざまなドメインからのデータを収集しており、その多様性が特徴です。具体的には、HTML、PDF、ArXivからの文書が含まれています。これにより、MINT-1Tは、従来のデータセットに比べてより広範なドメインカバレッジを実現しています。特に、PDF文書は「科学および技術」関連のコンテンツが多く、ArXivからのデータは学術的な研究成果を反映しています。一方、HTML文書は特定のドメインに偏らず、よりバランスの取れたドメイン表現を提供しています。このように、MINT-1Tは、従来のデータセット（例えばOBELICS）が「人文学および社会科学」に偏っているのに対し、より多様なドメインを網羅している点が大きな特徴です。

MINT-1Tのデータ収集プロセスにおいて、どのような課題に直面し、それをどのように解決したのか、より詳細に知りたい。

MINT-1Tのデータ収集プロセスでは、いくつかの技術的な課題に直面しました。まず、異なるデータソースからの情報を統合する際のデータの一貫性を保つことが難しかった点です。特に、HTML、PDF、ArXivの各フォーマットは異なるため、データの整形や前処理が必要でした。これに対処するために、各データソースに特化したパイプラインを構築し、HTMLからはDOMツリーを解析し、PDFからはテキストの読み取り順序を抽出する手法を採用しました。また、データの品質を確保するために、NSFWコンテンツや個人情報の除去を徹底し、低品質な文書をフィルタリングするプロセスを導入しました。これにより、最終的に高品質なデータセットを構築することができました。

MINT-1Tを用いて事前学習したモデルの性能を、より広範なタスクやベンチマークで評価することはできないだろうか。

MINT-1Tを用いて事前学習したモデルは、さまざまなタスクやベンチマークで評価されています。具体的には、視覚的質問応答（VQA）やキャプショニングタスクにおいて、MINT-1Tで訓練されたモデルは、従来のデータセットであるOBELICSやMINT-1TのHTML部分と比較して、優れた性能を示しています。特に、MINT-1Tの全データソースを使用したモデルは、複雑なマルチモーダル推論ベンチマークであるMMMUにおいても優れた結果を出しています。これにより、MINT-1Tが提供する多様なデータが、モデルの一般化能力を向上させることに寄与していることが示されています。今後は、さらに多様なタスクやベンチマークでの評価を行い、MINT-1Tの有用性を検証することが期待されます。