增進雙向手語溝通：整合 YOLOv8 與自然語言處理技術，實現即時手勢辨識與翻譯

核心概念

本研究旨在開發一個結合 YOLOv8 和自然語言處理技術的系統，實現美國手語的即時雙向翻譯，將手語轉換為文字，以及將文字轉換為手語影片。

摘要

文獻回顧

文字轉手語翻譯

• 過往研究曾嘗試將英文句子翻譯成印度手語 (ISL)，利用詞彙功能語法 (LFG) 將文字輸入轉換為 ISL。
• 其他研究則探索將馬拉雅拉姆語文本轉換為印度手語，並使用動畫顯示。
• 此外，也有研究使用虛擬手語合成網路工具 Vsigns，將希臘語文本轉換為希臘手語。

手語辨識

• 過去的研究利用卷積神經網路 (CNN) 和電腦視覺技術，辨識英文手語字母和手勢，並產生準確的文字版本。
• 一些研究則著重於回顧多項關於印度手語 (ISL) 辨識的研究，探討方向梯度直方圖 (HOG)、邊緣頻率直方圖 (HOEF) 和支持向量機 (SVM) 等技術的應用。
• 此外，也有研究使用預先訓練的 YOLOv3 模型進行印尼手語辨識，並使用圖像和影片數據進行訓練。

研究方法

本研究主要分為兩個部分：

1. 文字轉換為手語

• 利用自然語言處理 (NLP) 技術，將口語句子翻譯成手語。
• 使用自然語言工具包 (nltk) 進行詞性標注，識別輸入句子的時態。
• 建立一個包含手語影片的數據集，涵蓋單詞、字母和數字 0 到 9。
• 將輸入句子中的每個單詞與數據集中的影片進行匹配，並根據詞性標注進行處理。
• 開發一個網頁，讓使用者輸入文字或語音，系統會將其轉換為手語影片。

2. 手語轉換為文字

YOLOv8 和 v5 模型

• 使用 YOLOv5 和 v8 模型進行手語偵測。
• 建立一個包含 22 個類別的美國手語 (ASL) 數據集，並使用 bounding box 標記手勢。
• 使用 80% 的數據集進行訓練，20% 進行測試。
• YOLOv8 模型在 50 個 epochs 後的準確率為 95.6%。
• YOLOv5 模型在 100 個 epochs 後的準確率為 92.8%。

CNN 模型

• 使用 Python 的 OpenCV 函式庫建立一個簡單的 CNN 模型進行手語偵測。
• 建立一個包含 10 個類別的數據集，並使用從每個影格中提取的坐標點進行訓練。
• 使用 75% 的數據集進行訓練，25% 進行驗證。
• CNN 模型在 500 個 epochs 後的準確率為 94.94%。

結果評估

• CNN 模型雖然準確率高，但有時會出現錯誤偵測，尤其是在辨識需要雙手才能完成的手勢時。
• YOLO 模型的表現優於 CNN 模型，沒有出現任何錯誤偵測。
• YOLOv8 模型的效能最佳，在較少的 epochs 後即可達到較高的準確率。

結論與未來展望

• 本研究開發的 YOLO 模型和 NLP 架構，旨在透過提供即時的雙向手語翻譯，縮短聽障人士與聽力正常人士之間的溝通差距。
• 未來將進一步改善文字轉手語框架的流暢度，並考慮加入 3D 模型。
• 此外，也計畫將 YOLOv8 模型應用於更大的數據集，並添加臉部表情辨識功能。
• 最後，團隊計畫開發應用程式版本，讓更多人能夠使用這個系統。

統計資料

超過 15 億人患有聽力損失。
預計到 2050 年，聽力損失人數將超過 25 億。
YOLOv8 模型在 50 個訓練週期後，準確率達到 95.6%。
YOLOv5 模型在 100 個訓練週期後，準確率達到 92.8%。
CNN 模型在 500 個訓練週期後，準確率達到 94.94%。

引述

從以下內容提煉的關鍵洞見

Enhancing Bidirectional Sign Language Communication: Integrating YOLOv8 and NLP for Real-Time Gesture Recognition & Translation

by Hasnat Jamil... 於 arxiv.org 11-22-2024

https://arxiv.org/pdf/2411.13597.pdf

深入探究

除了手語辨識和翻譯，還有哪些技術可以幫助改善聽障人士的生活？

除了手語辨識和翻譯，還有許多技術可以幫助改善聽障人士的生活，以下列舉幾項：
1. 聲音資訊的視覺化呈現：

即時字幕： 將語音即時轉換成文字顯示在螢幕上，例如電視節目、會議、線上課程等。
聲音方向指示器： 利用LED燈光或震動提示聲音來源方向，幫助聽障人士辨別周遭環境聲音。
2. 輔助聽覺技術：

人工電子耳： 透過手術植入電極，刺激聽覺神經，讓嚴重聽障人士恢復部分聽力。
骨傳導耳機： 將聲音轉換成震動，透過骨骼傳遞到內耳，適合無法使用傳統助聽器的聽障人士。
3. 環境控制和警示系統：

閃光門鈴： 當有人按門鈴時，除了鈴聲外，還會閃爍燈光提醒聽障人士。
震動鬧鐘： 利用震動功能叫醒聽障人士，避免聽不到鬧鐘聲音。
4. 資訊無障礙設計：

網站和應用程式無障礙設計： 提供字幕、文字替代說明、鍵盤操作等功能，讓聽障人士更容易使用網路服務。
公共場所無障礙設施： 例如電梯樓層顯示螢幕、導盲磚、無障礙廁所等，方便聽障人士在公共場所活動。
這些技術的發展和應用，可以幫助聽障人士更方便地獲取資訊、與他人溝通、參與社會活動，提升生活品質。

如果將情感分析融入系統，是否能更準確地傳達手語者的情緒？

將情感分析融入手語辨識和翻譯系統，的確能更準確地傳達手語者的情緒，提升溝通的品質和效率。
情感分析如何提升準確性：

表情辨識： 手語不僅用手部動作表達，也包含豐富的面部表情。情感分析可以辨識喜怒哀樂等情緒，讓翻譯結果更貼近手語者的真實情感。
語氣和語調分析： 手語的動作速度、力度、幅度等，都隱含著情緒訊息。情感分析可以分析這些特徵，讓翻譯結果更生動、更具感染力。
上下文分析： 情感分析可以結合上下文語境，更準確地判斷手語者的情緒。例如，同樣的手勢在不同情境下，可能表達不同的情緒。
情感分析的挑戰：

資料庫建立： 需要建立包含豐富情感標籤的手語資料庫，用於訓練情感分析模型。
技術複雜度： 情感分析技術本身就具有挑戰性，需要結合電腦視覺、自然語言處理等多種技術。
文化差異： 不同文化背景下，人們表達情緒的方式可能有所不同，需要考慮文化差異對情感分析的影響。
儘管面臨挑戰，將情感分析融入手語辨識和翻譯系統，對於提升聽障人士的溝通品質和生活體驗具有重要意義。

如何讓這個系統更易於使用，並推廣到更多國家和地區？

為了讓手語辨識和翻譯系統更易於使用，並推廣到更多國家和地區，可以從以下幾個方面著手：
1. 提升系統易用性：

簡化操作介面： 設計簡潔易懂的操作介面，讓使用者無需複雜的學習就能輕鬆上手。
提供多種輸入方式： 除了攝影鏡頭輸入，也可以考慮支援手套、感測器等設備，方便不同需求的使用者。
開發移動應用程式： 讓使用者可以隨時隨地使用手機或平板電腦進行手語辨識和翻譯。
2. 擴展系統適用範圍：

支援多種手語： 開發能夠辨識和翻譯多種手語的系統，打破語言障礙，促進不同國家和地區聽障人士的交流。
適應不同環境： 提升系統在不同光線、背景、距離等環境下的辨識準確率，讓使用者在更多場景下都能順利使用。
考慮文化差異： 不同國家和地區的手語可能存在差異，需要針對不同文化背景進行調整和優化。
3. 推廣和普及系統：

降低使用成本： 透過技術研發和規模化生產，降低系統的製造成本，讓更多聽障人士負擔得起。
加強宣傳推廣： 透過各種管道，例如媒體報導、公益活動、線上線下推廣等，讓更多人了解和使用手語辨識和翻譯系統。
與政府和機構合作： 推動將手語辨識和翻譯系統應用於教育、醫療、公共服務等領域，讓更多聽障人士受益。
透過以上努力，我們可以讓手語辨識和翻譯系統成為聽障人士與外界溝通的橋樑，幫助他們更好地融入社會，享受平等的機會和權利。