香港手話字幕電視新聞資料集

Core Concepts

本文介紹了一個新的香港手語(HKSL)資料集TVB-HKSL-News,用於支持大詞彙量連續手語識別和翻譯的研究。

Abstract

本文介紹了一個新的香港手語(HKSL)資料集TVB-HKSL-News。該資料集是從香港電視台的手語新聞節目中收集的,包含16.07小時的手語視頻,涵蓋6,515個手語詞彙(用於手語識別)和2,850個中文字符或18,000個中文詞(用於手語翻譯)。
資料集的主要特點如下:

包含兩位手語翻譯員的大量數據,可用於研究單個翻譯員的大詞彙量連續手語識別和翻譯。
採用自動化的數據收集流程,可以輕鬆地擴展到其他手語的數據收集。
對手語視頻進行了專業的手語詞彙標註,為手語識別任務提供了高質量的標註。

此外,本文還報告了在該資料集上使用最新的手語識別和翻譯模型的基準結果,為未來的研究提供了參考。實驗結果表明,利用手部和身體關鍵點信息可以顯著提高手語識別和翻譯的性能。同時,研究還發現,對於單個翻譯員的手語識別任務,約8小時的訓練數據就足以達到收斂,但手語翻譯任務仍然需要更多的訓練數據。這些發現可以為未來的手語識別和翻譯研究提供指導。

Stats

昨天溫度二十有濕百分比七六
而輸入個案有一宗是一名印度海員

Quotes

無

Key Insights Distilled From

A Hong Kong Sign Language Corpus Collected from Sign-interpreted TV News

by Zhe Niu,Rong... at arxiv.org 05-03-2024

https://arxiv.org/pdf/2405.00980.pdf

Deeper Inquiries

如何進一步擴展該資料集,收集更多不同手語翻譯員的數據

TVB-HKSL-Newsデータセットをさらに拡張するために、異なる手話通訳者のデータを収集する方法はいくつかあります。まず、他の手話通訳者からのデータを収集する際には、同様の手話ニュースプログラムや他の手話インタープリテーションが含まれたビデオコンテンツを収集することが考えられます。さらに、手話通訳者の個々のセッションやイベントからデータを収集し、それらを新しいデータセットに統合することも有効です。また、手話通訳者のトレーニングセッションや教育プログラムからデータを収集し、手話の多様性と豊かさを反映したデータセットを作成することも考慮できます。

除了手部和身體關鍵點,還有哪些其他的視覺特徵可以用於提高手語識別和翻譯的性能

手話識別と翻訳の性能を向上させるために、手部や身体のキーポイント以外にもさまざまな視覚特徴を活用することができます。例えば、表情や視線の情報を取り入れることで、手話の意味やニュアンスをより正確に捉えることができます。また、手のジェスチャーの速度や動きのパターン、手の形状などの情報も重要です。さらに、手話の空間的な配置や手の動きの軌跡などの情報を活用することで、手話の識別と翻訳の性能を向上させることができます。

手語識別和翻譯的性能是否也受到手語本身語法和句法結構的影響

手話識別と翻訳の性能は、手話の言語構造や文法にも影響を受ける可能性があります。手話の文法や句構造を理解し、モデル設計に適切に組み込むことで、より正確な手話識別と翻訳を実現することが重要です。例えば、手話の単語の順序や手話のジェスチャーの意味の関連性を考慮し、モデルを訓練することで、手話の文法や句構造をより適切に捉えることができます。また、手話の文法ルールや手話表現の特徴をモデルに組み込むことで、手話識別と翻訳の性能を向上させることができます。