本論文は、機械学習アプリケーションの運用テストと評価のためのメッセージング標準の必要性について述べている。特に、エッジコンピューティングにおける機械学習アプリケーションの運用テストと評価の重要性が指摘されている。
論文では、IEEE Standard 1671 (ATML)の機械学習アプリケーションへの適用可能性を検討している。ATML標準は、電子システムのテストのためのXML標準であるが、機械学習アプリケーションには新しい課題がある。
具体的には、機械学習アプリケーションではデータセットの利用や、ソフトウェアベースのテストが重要となる。論文では、クロスバリデーション、敵対的ロバスト性テスト、ドリフト検出テストなどを例に、ATML標準を用いてこれらのテストを記述する方法を示している。
また、ATML標準の他のスキーマ(UUT記述、テストステーション記述、テストアダプタ記述、テスト結果記述、テストプログラムセット)についても、機械学習アプリケーションの文脈で検討している。
最終的に、論文は、ATML標準を機械学習アプリケーションのテストに適用するためには、データセットの扱いや、ソフトウェアベースのテストに関する軽微な拡張が必要であると結論付けている。また、IEEE 1671.Xなどの新しい標準の策定も検討に値すると述べている。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문