基於多模態資訊融合技術解讀乳牛發聲以評估動物福利

核心概念

透過融合聲學特徵和先進的機器學習演算法，可以有效地對牛的發聲進行分類，並評估其情緒狀態，從而改善動物福利。

摘要

研究論文摘要

書目資訊

Jobarteh, B., Mincu, M., Dinu, G., & Neethirajan, S. (2024). Multi Modal Information Fusion of Acoustic and Linguistic Data for Decoding Dairy Cow Vocalizations in Animal Welfare Assessment.

研究目標

本研究旨在探討如何利用多模態資訊融合技術，整合聲學特徵提取和先進的機器學習演算法，將乳牛的發聲分類為與壓力或喚醒相關的高頻呼叫 (HFC) 和表示滿足或平靜的低頻呼叫 (LFC)，以評估動物福利。

研究方法

研究人員從 20 頭隔離四小時的泌乳牛身上收集了 1,144 個發聲數據。他們使用 Praat 軟體對錄音進行分割並提取了 23 個聲學參數，包括基頻 (F0)、共振峰頻率、持續時間和諧波度。然後，他們使用 OpenAI Whisper 模型將牛的發聲轉錄為文本，並使用 Librosa 庫進行特徵提取，重點關注頻率、持續時間和響度等參數。最後，他們採用了隨機森林、支持向量機 (SVM) 和遞迴神經網路 (RNN) 模型對數據進行分類和分析。

主要發現

• SVM 模型表現最佳，準確率達 98.35%。
• 隨機森林模型也表現出色，F1 分數為 0.98，尤其是在預測與壓力相關的呼叫方面。
• 頻率是區分發聲的最重要預測因子，其次是響度和持續時間。
• HFC 的特點是頻率較高、間隔較短和發聲序列較快，而 LFC 則表現出較長且穩定的間隔。

主要結論

研究結果表明，將先進的機器學習技術與多模態資訊融合相結合，可以有效地監測乳牛的發聲並評估其情緒狀態。這為開發基於數據的動物護理框架提供了依據，並可以利用資訊融合來改進決策過程。

研究意義

該研究強調了將聲學和語義分析整合到常規養殖實踐中的迫切性，並為開發用於動物護理的數據驅動框架鋪平了道路。

研究局限和未來方向

未來研究可以納入更多樣化的牛品種和環境數據，並應用更先進的深度學習框架和變壓器模型，以進一步提高模型的準確性和可靠性。此外，還可以整合視覺數據、行為觀察和生理指標，以實現更全面和可靠的動物福利評估。

統計資料

研究人員從 20 頭隔離四小時的泌乳牛身上收集了 1,144 個發聲數據。
SVM 模型的準確率達到了 98.35%。
隨機森林模型的 F1 分數為 0.98。
HFC 的頻率範圍為 110.59 Hz 至 494.16 Hz，響度範圍為 -39.71 dB 至 -2.45 dB，持續時間範圍為 0.638 至 9.581 秒。
LFC 的頻率範圍為 72.61 Hz 至 183.27 Hz，響度範圍為 -53.88 dB 至 -8.16 dB，持續時間範圍為 0.650 至 2.921 秒。

引述

"This study introduces a novel approach to animal behavior and welfare assessment by employing multi-modal information fusion techniques to analyze cow vocalizations."
"By fusing key acoustic features—frequency, loudness, and duration—we utilized Random Forest, Support Vector Machine (SVM), and Recurrent Neural Network (RNN) models to classify cow vocalizations effectively."
"Our work paves the way for developing data-driven frameworks for animal care, leveraging information fusion to improve decision-making processes."

從以下內容提煉的關鍵洞見

Multi Modal Information Fusion of Acoustic and Linguistic Data for Decoding Dairy Cow Vocalizations in Animal Welfare Assessment

by Bubacarr Job... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00477.pdf

深入探究

除了聲音之外，還有哪些其他生理或行為指標可以被整合到動物福利評估系統中？

除了聲音之外，還有許多生理和行為指標可以被整合到動物福利評估系統中，打造更全面且客觀的評估體系。以下列舉一些關鍵指標：
生理指標：

心率變異性 (HRV): 心率變異性是指心跳间隔的变化，可以反映動物的壓力水平和自主神經系統的活動。
皮質醇水平: 皮質醇是一種壓力荷爾蒙，可以通過血液、唾液、毛髮或糞便樣本測量，反映動物的長期壓力狀況。
體溫: 體溫升高可能表示動物處於發燒或熱應激狀態，而體溫過低則可能與疾病或環境溫度過低有關。
呼吸頻率: 呼吸急促可能是疼痛、發燒或呼吸道疾病的徵兆。
免疫指標: 分析血液樣本中的免疫細胞和抗體水平，可以評估動物的免疫功能和健康狀況。
行為指標：

活動量: 異常的活動量，例如活動量過低或過高，都可能是動物福利出現問題的徵兆。
姿勢和步態: 跛足、僵硬或其他異常的姿勢和步態可能表示動物存在疼痛或不適。
攝食行為: 食慾下降、飲水量減少或反芻行為異常都可能是疾病或壓力的徵兆。
社交互動: 異常的社交互動，例如攻擊性增加或社交孤立，可能表示動物的福利受到影響。
環境互動: 動物花費在特定區域的時間、對環境豐富度的反應以及異常的刻板行為，例如踱步或啃咬，都可以提供有關其福利狀態的信息。
通過多模態信息融合技術，將這些生理和行為指標與聲音數據整合，可以更全面地評估動物福利，提高評估的準確性和可靠性。

如何解決將這些基於聲音的福利評估系統應用於大型商業農場時可能面臨的挑戰，例如成本、數據管理和農民接受程度？

將基於聲音的動物福利評估系統應用於大型商業農場確實面臨著一些挑戰，需要有針對性地提出解決方案：
1. 成本控制:

開發低成本的監測設備: 推廣使用價格更親民的聲音傳感器和數據採集設備，例如利用現有的農場監控系統進行升級改造。
優化數據傳輸和存儲方案: 採用數據壓縮技術和雲端存儲服務，降低數據傳輸和存儲成本。
探索政府补贴和政策扶持: 鼓勵研發和應用低成本的動物福利評估技術，並為農民提供相應的財政支持。
2. 數據管理:

建立標準化的數據採集和分析流程: 確保數據的準確性、一致性和可比性，方便不同農場之間的數據共享和分析。
開發高效的數據處理和分析算法: 利用機器學習和人工智能技術，自動化處理和分析大量的聲音數據，提高效率並降低人工成本。
構建安全的數據存儲和訪問控制系統: 保障數據安全和隱私，避免數據洩露和濫用。
3. 提高農民接受程度:

加強宣傳教育，提升農民對動物福利的認知: 通過培訓、研討會和示範項目等方式，讓農民了解動物福利的重要性以及基於聲音的評估系統的優勢。
開發易於使用和理解的系統界面和報告: 將複雜的數據分析結果轉化為直觀易懂的圖表和報告，方便農民理解和應用。
展示系統的實際效益: 通過案例分析和數據對比，向農民展示基於聲音的評估系統如何幫助他們提高動物福利、生產效率和經濟效益。
總之，解決這些挑戰需要科技創新、政策支持和農民的積極參與。通過多方合作，可以推動基於聲音的動物福利評估系統在大型商業農場的應用，促進動物福利和畜牧業的可持續發展。

如果將人工智能應用於動物福利評估的領域繼續發展，它將如何改變我們與農場動物的關係以及我們對動物認知的理解？

人工智能在動物福利評估領域的持續發展，將帶來以下深遠影響：
1. 重塑人與農場動物的關係:

促進更人道的動物生產方式: 人工智能可以幫助我們更深入地了解動物的情緒和需求，從而推動畜牧業從追求效率最大化轉向更加注重動物福利的生產方式。
打破人與動物之間的溝通障礙: 通過解讀動物的聲音、表情和行為，人工智能可以幫助我們更好地理解動物的意圖和感受，建立更和谐的人與動物關係。
提升公众对动物福利的关注: 人工智能技術的應用可以讓更多人了解農場動物的生存狀況，促進社會對動物福利的關注和支持。
2. 加深對動物認知的理解:

揭示動物情感和認知的複雜性: 人工智能可以幫助我們分析海量的動物行為數據，揭示動物情感和認知的複雜性，挑戰傳統上對動物認知能力的低估。
推動動物行為學和認知科學的發展: 人工智能技術的應用將為動物行為學和認知科學的研究提供新的工具和思路，促進這些領域的發展。
重新思考人類與動物之間的倫理關係: 隨著對動物認知能力的深入了解，我們需要重新思考人類與動物之間的倫理關係，構建更加平等和尊重的動物倫理體系。
總之，人工智能在動物福利評估領域的應用，不僅僅是技術的进步，更是一场关乎伦理和价值观的变革。它将推动我们重新审视人类与農場動物的关系，构建更加人道、和谐和可持續的畜牧業發展模式。