실용적인 피아노 악보 광학 음악 인식을 위한 종단 간 접근법

Core Concepts

최근 광학 음악 인식(OMR) 분야의 발전은 주로 딥러닝 기반 종단 간 모델을 통해 이루어졌지만, 피아노 악보와 같은 복잡한 악보 구조에 대한 효과적인 처리가 여전히 과제로 남아있다. 본 연구에서는 MusicXML 기반의 선형화된 표현 방식을 제안하고, 이를 활용한 종단 간 OMR 모델을 개발하여 피아노 악보 인식 성능을 크게 향상시켰다.

Abstract

이 논문은 광학 음악 인식(OMR) 분야의 발전을 위한 다음과 같은 기여를 제시한다:

MusicXML 기반의 선형화된 표현 방식(Linearized MusicXML, LMX)을 제안하였다. LMX는 MusicXML의 계층적 구조를 선형 시퀀스로 변환하여 종단 간 모델 학습에 적합한 형태로 만든다. 이를 통해 널리 사용되는 MusicXML 형식으로 직접 출력할 수 있게 되었다.

피아노 악보 인식을 위한 OLiMPiC 데이터셋을 구축하였다. OLiMPiC은 OpenScore Lieder 코퍼스를 활용하여 만든 것으로, 실제 스캔된 이미지와 LMX 주석이 포함된다. 이는 기존의 합성 데이터셋보다 훨씬 어려운 과제를 제공한다.

MusicXML 파일 간 비교를 위한 Tree Edit Distance(TEDn) 평가 지표를 활용하였다. TEDn은 음악적 의미 차이를 잘 반영하여 사용자 관점에서의 수정 노력을 잘 추정할 수 있다.

제안한 종단 간 OMR 모델인 Zeus를 OLiMPiC 데이터셋에 적용하여 기존 최신 모델 대비 50% 이상의 성능 향상을 달성하였다.

이러한 기여를 통해 실용적인 OMR 시스템 개발을 위한 기반을 마련하였다. 특히 MusicXML 출력, 어려운 피아노 악보 데이터셋, 그리고 사용자 관점의 평가 지표 등은 OMR 분야의 발전을 크게 앞당길 것으로 기대된다.

Stats

피아노 악보에는 다양한 음표와 쉼표, 박자 표시, 조표 등이 포함되어 복잡한 구조를 가진다.
피아노 악보 인식을 위한 OLiMPiC 데이터셋은 총 17,945개의 악보 시스템으로 구성되며, 182개의 고유 토큰이 사용된다.
OLiMPiC 테스트 데이터셋의 경우 1,493개의 악보 시스템으로 구성되어 있다.

Quotes

"최근 광학 음악 인식(OMR) 분야의 발전은 주로 딥러닝 기반 종단 간 모델을 통해 이루어졌지만, 피아노 악보와 같은 복잡한 악보 구조에 대한 효과적인 처리가 여전히 과제로 남아있다."
"MusicXML 기반의 선형화된 표현 방식(Linearized MusicXML, LMX)을 제안하였다. LMX는 MusicXML의 계층적 구조를 선형 시퀀스로 변환하여 종단 간 모델 학습에 적합한 형태로 만든다."
"OLiMPiC 데이터셋은 실제 스캔된 이미지와 LMX 주석이 포함되어 기존의 합성 데이터셋보다 훨씬 어려운 과제를 제공한다."

Key Insights Distilled From

Practical End-to-End Optical Music Recognition for Pianoform Music

by Jiří... at arxiv.org 03-21-2024

https://arxiv.org/pdf/2403.13763.pdf

Deeper Inquiries

피아노 악보 외에 다른 악기 악보에 대한 OMR 모델 개발은 어떤 방식으로 진행될 수 있을까?

다른 악기 악보에 대한 OMR 모델 개발은 주로 피아노 악보와 유사한 방식으로 진행될 수 있습니다. 각 악기에 따라 음표의 특성과 표기법이 다르기 때문에 해당 악기에 맞게 모델을 조정하고 훈련해야 합니다. 예를 들어, 현악기의 경우에는 활의 방향과 선율의 특성을 고려해야 하며, 관악기의 경우에는 숨쉬기와 음색 표현을 고려해야 할 것입니다. 따라서 각 악기에 맞는 데이터셋을 구축하고 해당 악기의 특징을 반영한 모델을 개발하는 것이 중요합니다. 또한, 다양한 악기에 대한 OMR 모델을 개발하기 위해서는 해당 악기의 전문가와 협력하여 정확한 음표 해석을 보장하는 것이 필요할 것입니다.

제안된 LMX 표현 방식의 한계와 개선 방향은 무엇일까?

LMX 표현 방식의 한계 중 하나는 특정 음표나 기호를 완벽하게 표현하지 못할 수 있다는 점입니다. 예를 들어, 특정 음표의 음정이나 길이를 정확하게 표현하지 못할 수 있습니다. 또한, 특정 기호나 표기법을 누락할 수도 있어서 모델의 성능에 영향을 줄 수 있습니다. 이러한 한계를 극복하기 위해서는 LMX 표현 방식을 보완하고 더 많은 음표와 기호를 포함할 수 있는 확장된 형태의 표현 방식을 고려해볼 필요가 있습니다. 또한, 더 정확한 디코딩을 위해 추가적인 규칙이나 알고리즘을 도입하여 LMX의 성능을 향상시킬 수 있을 것입니다.

OMR 모델의 성능 향상을 위해 데이터 증강 기법 외에 어떤 접근법을 고려해볼 수 있을까?

OMR 모델의 성능 향상을 위해 데이터 증강 기법 외에는 다양한 접근법을 고려할 수 있습니다. 첫째로, 모델의 아키텍처를 최적화하고 효율적인 학습 알고리즘을 적용하여 성능을 향상시킬 수 있습니다. 더 나아가, 전이 학습(transfer learning)을 활용하여 다른 음악 장르나 스타일에 대한 일반화 능력을 향상시킬 수 있습니다. 또한, 앙상블 학습(ensemble learning)을 통해 여러 모델의 예측을 결합하여 더 강력한 예측 모델을 구축할 수도 있습니다. 마지막으로, 데이터 전처리 및 특성 공학을 통해 모델에 더 많은 정보를 제공하고 학습 과정을 최적화할 수 있습니다. 이러한 다양한 접근법을 종합적으로 고려하여 OMR 모델의 성능을 향상시키는 방향으로 연구를 진행할 수 있을 것입니다.