Keskeiset käsitteet
大規模な気候シミュレーションデータを自動化された信頼性の高い方法で効率的に複製することができた。
Tiivistelmä
本研究では、ローレンス・リバモア国立研究所(LLNL)に保管されていた7.3ペタバイトの気候シミュレーションデータを、アルゴンヌ国立研究所(ANL)とオークリッジ国立研究所(ORNL)に複製する取り組みについて報告している。
複製の主な経緯は以下の通り:
- 2022年2月15日に開始し、5月3日に完了した。合計77日間の作業であった。
- LLNLのファイルシステムの速度が遅かったため、LLNLからANLに一度転送した後、ANLからORNLに転送する2段階の方式をとった。
- Globusを使ったデータ転送により、高速ネットワークの活用、セキュリティ、整合性チェック、障害からの復旧などを自動的に行うことができた。
- 転送中に一時的な障害が4,086件発生したが、Globusの自動復旧機能により、全体としては順調に進めることができた。
本取り組みは、大規模な気候データの複製を自動化された信頼性の高い方法で効率的に行うことができたことを示している。今後CMIP7のようなさらに大規模なデータセットの管理においても、同様のアプローチが有効であると考えられる。
Tilastot
合計7.3ペタバイトのデータを29,907,532ファイルから成る17,347,671ディレクトリから複製した。
平均転送速度はLLNL→ANLが0.648 GB/s、LLNL→ORNLが0.662 GB/sであった。
合計4,086件の一時的な障害が発生したが、Globusの自動復旧機能により対応できた。
Lainaukset
"大規模な気候データの複製を自動化された信頼性の高い方法で効率的に行うことができた。"
"今後CMIP7のようなさらに大規模なデータセットの管理においても、同様のアプローチが有効であると考えられる。"