ML 기반 소프트웨어 구축을 위한 V-모델 탐색 연구: 시스템 엔지니어링 관점

核心概念

V-모델은 ML 기반 시스템 구축 시 발생하는 학제 간 협업 문제를 해결할 수 있는 방법을 제공한다.

摘要

이 연구는 V-모델을 ML 기반 시스템 구축에 적용하는 방법을 탐색했다. 소프트웨어 회사 실무자들과의 인터뷰를 통해 다음과 같은 8가지 제안을 도출했다:

1. 시스템 수준, 하위 시스템 수준, 구성 요소 수준(ML, 비ML, 데이터, 인프라)에서 요구사항을 생성하고 지속적으로 관리해야 한다.
2. 시스템 수준 아키텍처 설계와 구성 요소 간 인터페이스, 책임, 대안, 예상 성능을 생성하고 지속적으로 관리해야 한다.
3. ML 구성 요소의 불확실성으로 인한 위험을 적극적으로 식별하고 완화해야 한다.
4. ML 구성 요소, 비ML 구성 요소, 데이터, 인프라를 별도의 구성 요소로 다루어 각각에 대한 요구사항, 설계, 검증을 수행해야 한다.
5. 시스템, 하위 시스템, 구성 요소 수준에서 검증 및 확인(V&V)을 수행하고 책임 소유자를 지정해야 한다.
6. ML 기반 시스템을 위한 소프트웨어 개발 수명 주기는 시스템-하위 시스템-구성 요소 계층 분해, 지속적인 V&V, 불확실성 관리, 역할 간 책임 경계를 따라야 한다.
7. 시스템, 하위 시스템, 구성 요소 수준의 문서화를 생성하고 변경 사항을 추적해야 하며, 모든 관련 역할이 이해할 수 있는 용어를 사용해야 한다.
8. V-모델은 추가적인 노력이 필요하지만, ML 기반 시스템 구축 시 겪는 협업 문제에 효과적으로 부합한다.

統計資料

ML 모델 개발에 있어 소프트웨어 엔지니어와 ML 과학자 간 코딩 표준 격차가 존재한다.
ML 모델 의존성으로 인한 데이터 파이프라인 문제와 인프라 지원 부족이 어려움을 야기한다.
오프라인 모델 평가와 온라인 테스트 간 격차로 인해 여러 차례의 A/B 테스트 반복이 필요하다.
시스템 수준 테스트의 책임 소유자가 불분명하다.

引述

"ML 과학자들은 새로운 모델을 많이 개발하고 출시한 뒤 새로운 것을 찾지만, 오래된 모델에 대해서는 관심이 없어 더 이상 유지보수하지 않습니다."
"ML 모델을 출시한 뒤 성능 지표나 비즈니스 지표에 격차가 있다는 것을 알게 되었습니다. 이를 해결하기 위해 홀드아웃 실험을 추가하거나 지속적인 모니터링 지표를 도입했습니다."

從以下內容提煉的關鍵洞見

An Exploratory Study of V-Model in Building ML-Enabled Software: A Systems Engineering Perspective

by Jie JW Wu 於 arxiv.org 05-07-2024

https://arxiv.org/pdf/2308.05381.pdf

深入探究

ML 기반 시스템 구축을 위한 V-모델 적용의 장단점은 무엇인가?

V-모델은 시스템 엔지니어링 관점에서 ML 기반 시스템을 구축하는 데 유용한 장점과 한계가 있습니다. 장점으로는 V-모델이 시스템을 시스템, 서브시스템 및 구성 요소로 분해하여 명확한 시스템 경계와 책임을 정의하므로 협업 문제를 해결하는 데 도움이 됩니다. 또한 V&V(확인 및 검증)를 강조하여 시스템 수준, 서브시스템 수준 및 구성 요소 수준에서 일관성을 유지하고 품질 보증을 강화할 수 있습니다. 그러나 한계로는 V-모델이 변화에 대한 유연성과 적응성이 제한되어 있어 실제 채택되지 않는 경우가 있습니다. ML 개발은 실험적이고 반복적인 성격을 가지고 있기 때문에 프로세스의 엄격함과 유연성 사이의 균형을 이해하고 대응해야 합니다.

ML 기반 시스템 개발을 위한 새로운 프로세스 모델은 어떤 것이 있을까?

ML 기반 시스템을 위한 새로운 프로세스 모델로는 MLOps(ML Operations)가 있습니다. MLOps는 ML 모델의 개발, 테스트, 배포 및 유지 관리를 자동화하고 효율적으로 수행하기 위한 방법론입니다. 또한 CRISP-DM(Cross-Industry Standard Process for Data Mining) 및 TDSP(Team Data Science Process)와 같은 ML 라이프사이클 모델도 있지만, 이러한 모델들은 문서화, 모델 평가, 모니터링 등의 단계를 더 강조해야 한다는 연구 결과가 있습니다. 따라서 ML 기반 시스템을 위한 새로운 프로세스 모델은 시스템 전반적인 프로세스를 고려하여 다양한 역할과 컴포넌트를 효과적으로 관리할 수 있어야 합니다.

ML 기반 시스템 구축 시 발생하는 협업 문제를 해결하기 위한 다른 접근법은 무엇이 있을까?

ML 기반 시스템 구축 시 발생하는 협업 문제를 해결하기 위한 다른 접근법으로는 DevOps 및 Agile 방법론을 적용하는 것이 있습니다. DevOps는 개발팀과 운영팀 간의 협업을 강조하여 소프트웨어 제공과 운영을 통합하는 방법론으로, ML 모델의 개발과 배포를 더욱 효율적으로 수행할 수 있습니다. 또한 Agile 방법론은 반복적이고 유연한 개발 방식으로, ML 모델의 실험적인 특성에 적합하며, 팀 간 협업과 의사소통을 강조하여 문제를 신속하게 해결할 수 있습니다. 이러한 방법론을 적용하여 ML 기반 시스템의 협업 문제를 해결하고 효율적인 개발 및 운영을 실현할 수 있습니다.