基於神經科學與心理學的音樂學習與創作：以音階調式為條件的脈衝神經網路模型

核心概念

本文提出了一種基於脈衝神經網路的音樂學習與生成模型，該模型借鑒了神經科學和心理學的音樂認知機制，並結合西方音樂理論中的音階調式概念，能夠學習和生成具有特定音調風格的多聲部音樂。

摘要

書目資訊

Liang, Q., Zeng, Y., & Tang, M. (2024). MODE-CONDITIONED MUSIC LEARNING AND COMPOSITION: A SPIKING NEURAL NETWORK INSPIRED BY NEUROSCIENCE AND PSYCHOLOGY. arXiv preprint arXiv:2411.14773.

研究目標

本研究旨在開發一種能夠理解和生成具有特定音調風格音樂的計算模型，並探討該模型與人類音樂認知機制之間的關係。

方法

• 本研究提出了一種基於脈衝神經網路 (SNN) 的音樂學習與生成模型，該模型包含兩個主要子系統：音樂理論子系統和序列記憶子系統。
• 音樂理論子系統以階層式結構編碼了西方音樂理論中的音階調式概念，作為先驗知識指導音樂學習。
• 序列記憶子系統則模擬了大腦聽覺皮層和海馬體的功能，用於學習和記憶音樂序列中的音高和時值信息。
• 模型採用突觸創建和脈衝時序依賴可塑性 (STDP) 學習規則，模擬大腦中神經迴路的動態演化過程。

主要發現

• 模型內部的神經元連接結構與音樂心理學中的 Krumhansl-Schmuckler 音調感知模型高度一致，表明該模型能夠有效捕捉人類音樂感知中的音調層級關係。
• 模型能夠根據指定的音階調式和起始音符生成具有相應音調風格的多聲部音樂作品。
• 定量評估結果顯示，生成的音樂作品既具有明確的音調特徵，又具備一定的旋律多樣性和音樂性。

主要結論

• 結合神經科學、心理學和音樂理論的跨學科研究方法，有助於開發更具認知能力和音樂性的音樂人工智能系統。
• 基於脈衝神經網路的模型為模擬人類音樂認知機制提供了一種可行的計算框架。

研究意義

本研究為音樂人工智能領域提供了新的思路和方法，有助於推動音樂學習與生成技術的發展，並為理解人類音樂認知機制提供新的見解。

局限與未來研究方向

• 模型目前僅限於生成四聲部音樂，未來可擴展至更多聲部和更複雜的音樂形式。
• 模型的音樂情感表達能力還有待進一步提升。
• 未來研究可探索將模型應用於音樂分析、音樂教育等領域。

統計資料

模型在 SHTE 數據集上訓練後，大調音階的音高突觸數量 (PSC) 與 Krumhansl-Schmuckler 模型的音高分數之間的餘弦相似度為 0.93，小調音階的平均突觸權重 (PASW) 與 Krumhansl-Schmuckler 模型的音高分數之間的餘弦相似度為 0.92。
模型在巴赫四部和聲數據集上訓練後，小調音階的 PSC 和 PASW 與 Krumhansl-Schmuckler 模型的音高分數之間的餘弦相似度均為 0.94。
生成的音樂樣本的音高數量平均值為 7.70，標準差為 1.27。
生成的音樂樣本的自然音比例平均值為 0.86，標準差為 0.04。
生成的音樂樣本的音域平均值為 9.4 個半音，標準差為 2.2。
生成的音樂樣本的音程平均值為 2.33 個半音，標準差為 0.32。

引述

"However, despite these impressive advancements, the biggest challenge remains: current techniques lack the ability to understand and generate music on a cognitive level."
"This reliance presents a significant limitation: it renders the learning process increasingly complex, diverging significantly from the intuitive and explainable learning and creative processes exhibited by human beings."
"By combining insights from neuroscience, psychology, and music theory with advanced neural network architectures, our research aims to create a system that not only learns and generates music but also bridges the gap between human cognition and artificial intelligence."

從以下內容提煉的關鍵洞見

Mode-conditioned music learning and composition: a spiking neural network inspired by neuroscience and psychology

by Qian Liang, ... 於 arxiv.org 11-25-2024

https://arxiv.org/pdf/2411.14773.pdf

深入探究

如何評估音樂生成模型的創造性和藝術性，而不僅僅是技術上的準確性？

評估音樂生成模型的創造性和藝術性，而不僅僅是技術上的準確性，是一個複雜的議題。它不像評估技術指標那樣有明確的標準，更多地需要結合音樂理論、美學感知以及人類主觀體驗來進行綜合判斷。以下是一些評估方法：
1. 結合音樂理論分析：

調性和聲分析： 評估生成的音樂是否符合音樂和聲學原理，例如和聲進行是否自然流暢，是否合理地使用了不協和和弦，調性是否清晰明確等。
曲式結構分析： 評估生成的音樂是否具有合理的曲式結構，例如是否有清晰的主題、發展和再現，段落之間的銜接是否自然等。
旋律發展和動機分析： 評估生成的旋律是否具有可聽性和記憶點，動機的使用是否合理，發展手法是否豐富等。
2. 主觀評測：

音樂家評測： 邀請專業音樂家對生成的音樂進行評估，從專業角度評價其音樂性、原創性和藝術感染力。
聽眾評測： 邀請不同背景的聽眾對生成的音樂進行評測，收集他們對音樂的喜好程度、情感共鳴等主觀感受。
3. 比較分析：

風格相似度分析： 將生成的音樂與目標風格的音樂進行比較，評估其風格相似度，例如使用機器學習模型提取音樂特徵並計算距離。
創新性分析： 分析生成的音樂中是否存在新穎的旋律、和聲或節奏元素，是否突破了傳統音樂的框架。
4. 其他指標：

驚喜度： 評估生成的音樂是否出乎意料，是否能夠給聽眾帶來新鮮感和驚喜感。
情感表達： 評估生成的音樂是否能夠有效地傳達情感，例如歡快、悲伤、激昂等。
需要注意的是，以上方法並不能完全涵蓋音樂創造性和藝術性的所有方面，而且評估結果也帶有一定的主觀性。因此，在評估音樂生成模型時，應該綜合運用多種方法，並結合具體的音樂風格和應用場景進行分析。

如果將模型訓練數據集擴展到其他音樂風格，例如爵士樂或流行音樂，模型是否能夠學習和生成這些風格的音樂？

理論上，如果將模型訓練數據集擴展到其他音樂風格，例如爵士樂或流行音樂，模型是有可能學習和生成這些風格的音樂的。因為模型本身並不局限於特定的音樂風格，它學習的是音樂數據中隱含的規律和模式。
然而，要讓模型成功地學習和生成不同風格的音樂，需要注意以下幾個方面：

數據集的規模和質量： 訓練數據集的規模和質量對於模型的學習效果至關重要。不同音樂風格的數據集應該足夠大，並且能夠涵蓋該風格的典型特徵和變化。
模型結構的調整： 不同音樂風格的音樂在結構、节奏、和聲等方面存在差異，因此可能需要對模型結構進行相應的調整，例如增加模型的層數、調整神經元的數量等，以便更好地捕捉不同風格音樂的特點。
訓練目標的設定： 訓練目標應該與目標音樂風格的特點相匹配。例如，對於爵士樂，可以將即興演奏和複雜的和聲進行作為訓練目標；而對於流行音樂，則可以將旋律的朗朗上口和節奏的動感作為訓練目標。

總之，將模型訓練數據集擴展到其他音樂風格需要克服一些挑戰，但也是一個很有前景的研究方向。通過不斷地改進模型和訓練方法，相信未來可以開發出能夠生成更加豐富多彩的音樂的 AI 模型。

音樂作為一種抽象的藝術形式，其背後的認知機制和情感共鳴是如何產生的？

音樂作為一種抽象的藝術形式，其背後的認知機制和情感共鳴是一個複雜且引人入勝的議題，涉及音樂學、心理學、神經科學等多個學科。以下是一些主要觀點：
1. 音樂認知機制：

聽覺編碼： 聲音信號首先被耳朵接收並轉化為神經信號，傳遞到大腦的聽覺皮層進行處理。聽覺皮層對音調、音色、節奏等音樂元素進行編碼，形成對音樂的基本感知。
模式識別： 大腦會自動地從音樂中提取規律和模式，例如旋律的走向、和聲的進行、節奏的變化等。這些模式的識別有助於我們理解音樂的結構和發展。
記憶和預期： 我們會將聽到的音樂片段儲存在記憶中，並根據已有的音樂經驗對接下來的音樂發展產生預期。當預期得到滿足時，我們會感到愉悅；而當預期被打破時，我們可能會感到驚訝或困惑。
多感官整合： 音樂的感知並非僅限於聽覺，還會與其他感官信息，例如視覺、觸覺等，產生聯繫和互動。例如，我們可能會將某些音樂與特定的場景、顏色或情感聯繫在一起。
2. 音樂情感共鳴：

生理反應： 音樂可以引起我們身體的生理反應，例如心跳加速、呼吸急促、皮膚起雞皮疙瘩等。這些生理反應與我們的情緒體驗密切相關。
腦區激活： 神經科學研究表明，音樂可以激活大腦中與情緒處理相關的區域，例如杏仁核、海馬體、伏隔核等。這些區域的激活會引發我們的情緒體驗。
文化和個人經驗： 我們對音樂的情感反應受到文化背景和個人經驗的影響。例如，某些音樂在特定文化中可能具有特殊的意義，而某些音樂則可能喚起我們個人的回憶和情感。
總之，音樂的認知機制和情感共鳴是一個複雜的過程，涉及多個腦區和認知功能的協同作用。通過結合多學科的研究方法，我們可以更加深入地理解音樂是如何影響我們的大腦和情感的。