基於多模態大型語言模型的歷史文獻手寫識別準確性評估

核心概念

與基於 Transformer 的最先進方法相比，多模態大型語言模型（如 Gemini）在識別歷史文獻中的手寫文字方面展現出相當的準確性，尤其是在英語方面，儘管在非英語語言方面仍有提升空間。

摘要

論文概述

本研究論文評估了多模態大型語言模型 (LLM) Gemini 在識別歷史文獻手寫文字方面的準確性，並與當前最先進的基於 Transformer 的方法進行比較。

研究背景

• 大量歷史文獻僅以手寫形式存在，阻礙了計算文本分析方法的使用。
• 與印刷文字的光學字元識別 (OCR) 相比，手寫文字的 OCR 仍然是一項極具挑戰性的任務。
• 基於 Transformer 的模型在手寫識別方面取得了相對較好的性能，但它們嚴重依賴於人工轉錄的訓練數據，並且難以泛化到不同的書寫風格。
• 多模態 LLM，例如 GPT-4v 和 Gemini，在少量樣本提示下執行 OCR 和電腦視覺任務方面表現出有效性。

研究方法

• 本研究比較了 Gemini 與基於 CNN-BiLSTM 和 TrOCR 的最先進方法的準確性。
• 使用公開的多語言語料庫進行評估，包括來自 ICDAR 會議和 RODRIGO 數據集的歷史文獻。
• 評估了三種不同的 Gemini 提示策略：簡單提示、提供背景信息的提示和要求模型糾正拼寫和語法錯誤的提示。

研究結果

• Gemini 在轉錄英語手寫文字方面表現出與針對特定語料庫進行微調的最先進模型相當的準確性。
• 對於非英語語言，Gemini 的性能明顯較差，這表明 Gemini 的訓練數據集中英語佔主導地位可能會影響其在某些任務上的性能。
• 儘管 Gemini 的整體性能不如經過微調的 TrOCR 或 CNN，尤其是在非英語語言方面，但它在某些情況下可以產生高度準確的轉錄，這表明其具有潛在的能力。

結論與討論

• 對於沒有大量標註數據的項目，Gemini 和其他多模態 LLM 提供了一種潛在的更簡單的選擇，尤其是在轉錄英語手寫文字方面。
• 對於非英語語言，仍然需要使用經過訓練的神經網絡模型。
• 未來研究方向包括探索提示技術以提高 Gemini 在非英語語言上的性能，以及評估 TrOCR 在不同時期和語言的文本上的跨語料庫有效性。

統計資料

使用 ICDAR 2014 和 2017 Bentham 數據集中的 1,200 個英語樣本進行訓練和評估。
使用 ICDAR 2015 數據集中的 450 個德語文檔進行訓練和評估。
使用 ICDAR 2016 數據集中的 6,000 個德語和 4,000 個法語文檔進行訓練和評估。
對於每種語言，隨機抽取 30 和 500 個帶標註的頁面用於訓練/微調。

引述

"While OCR on print has achieved extremely high accuracy (outside of non-Latin types, low quality scanning, and unconventional page formatting) since the early 2000s, high accuracy handwriting OCR was essentially impossible until the adoption of image based convolutional neural networks in studies such as ([2])."
"Multimodal LLMs, such as GPT-4v [8], have displayed promising early ability to recognize text and tabular structure in images."
"There are no clear advantages to the state of the art trained models unless a sufficiently large in-domain annotated dataset is provided from the same language and time period."

從以下內容提煉的關鍵洞見

Handwriting Recognition in Historical Documents with Multimodal LLM

by Lucian Li 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2410.24034.pdf

深入探究

如何進一步提高多模態 LLM 在處理不同書寫風格和品質的歷史文獻方面的穩健性？

多模態 LLM 在處理不同書寫風格和品質的歷史文獻方面具有巨大潛力，但仍需進一步提高其穩健性。以下是一些可行的方向：

擴充訓練數據的多樣性： 目前 LLM 的訓練數據集中，不同時期、語言、書寫風格和品質的歷史文獻覆蓋率不足。應積極收集和標註更多樣化的數據，特別是低資源語言和古代文獻，以提高模型的泛化能力。
發展更精細的圖像處理技術： 歷史文獻常存在褪色、污損、字跡模糊等問題，影響模型的識別效果。可以研發更先進的圖像處理技術，例如去噪、增強對比度、字跡修復等，以提高圖像質量，為 LLM 提供更清晰的輸入。
結合語言模型和視覺模型的優勢： 可以探索將 LLM 與其他專精於圖像識別的模型（如 CNN、圖像 Transformer）相結合，充分利用不同模型的優勢，提高識別準確率。例如，可以利用 CNN 提取圖像特徵，再將特徵輸入 LLM 進行文本生成。
引入字體風格遷移和生成技術： 可以利用字體風格遷移技術將不同書寫風格的字體轉換為統一風格，降低模型學習難度。同時，可以探索利用生成對抗網絡 (GAN) 生成與歷史文獻風格相似的字體，擴充訓練數據，提高模型對不同書寫風格的適應性。
開發針對特定歷史文獻類型的模型： 不同類型的歷史文獻（如公文、書信、日記等）具有不同的書寫風格和語言特點。可以針對特定類型開發專門的模型，以提高識別精度。

如果歷史文獻包含多種語言或混合語言，現有的手寫識別方法將如何處理？

處理包含多種語言或混合語言的歷史文獻是手寫識別領域的一大挑戰，現有方法主要面臨以下問題：

語言識別困難： 模型需要先識別文本片段所屬的語言，才能調用相應的語言模型進行識別。然而，歷史文獻中不同語言的界限 often 模糊，給語言識別帶來很大困難。
缺乏混合語言訓練數據： 現有模型大多針對單一語言進行訓練，缺乏對混合語言文本的處理能力。
字符集衝突： 不同語言可能使用相同的字符表示不同的含义，或者使用不同的字符表示相同的含义，導致模型識別混淆。
為了解決這些問題，可以嘗試以下方法：

開發多語言識別模型： 可以訓練能夠同時識別多種語言的模型，并在識別過程中動態調整不同語言模型的權重，以適應混合語言文本。
構建混合語言訓練數據集： 收集和標註包含多種語言的歷史文獻，構建混合語言訓練數據集，以提高模型對混合語言文本的處理能力。
引入字符級別的語言模型： 可以將字符作為基本單位進行建模，而不是以詞語為單位，以減少字符集衝突帶來的影響。

這項研究如何促進其他領域的研究，例如古文字學或歷史語言學？

這項研究的成果可以為古文字學和歷史語言學等領域帶來以下促進作用：

提高古文字識別效率： 自動手寫識別技術可以幫助古文字學家快速識別和轉錄大量古文字，節省時間和精力，使其能够將更多精力投入到文字分析和研究工作中。
促進古文獻的解讀和研究： 通過將古文獻數字化，可以利用計算機進行文本分析、語料庫構建等工作，為古文獻的解讀和研究提供新的思路和方法。
保護和傳承文化遺產： 自動手寫識別技術可以幫助我們更好地保護和傳承珍貴的歷史文獻，讓更多人了解和學習古代文化。
例如，在古埃及象形文字研究中，可以利用 LLM 識別和轉錄大量的象形文字，構建古埃及語料庫，並利用計算機分析象形文字的語法規則和演變規律，為古埃及文明的研究提供新的證據和视角。