紐倫堡信件簿：一個用於文件分析的十五世紀早期手稿多重轉錄數據集

核心概念

紐倫堡信件簿數據集提供多種類型的轉錄和元數據，以彌合文件分析領域中標準化標籤與人文學科研究需求之間的差距，並支持開發更能滿足人文學科需求的方法。

摘要

簡介

這篇研究論文介紹了紐倫堡信件簿數據集，這是一個用於文件分析的十五世紀早期手稿多重轉錄數據集。該數據集旨在解決歷史文件數位化和手寫文本識別領域的一個重大挑戰：如何彌合僅僅掃描古代手稿與真正理解和利用它們所呈現的內容之間的差距。

研究背景

雖然數位化技術讓這些文本更容易取得，但它並沒有讓這些文本變得更容易理解或用於不同的研究目的。從實體文件到數位語料庫的轉換過程涉及許多複雜性，特別是在轉錄和解讀方面，這些方面會因研究領域和研究目標而有很大差異。例如，電腦科學家通常使用文件的基礎轉錄，這些轉錄是為訓練文本識別模型而量身定制的簡化版本。相比之下，德國研究需要盡可能接近原文的轉錄，以捕捉其視覺特徵和細微差別，這對於專注於語言和文化背景的研究至關重要。另一方面，歷史學家則傾向於使用正規化的文本版本，在這些版本中，縮寫會被解析，而像「 」這樣的特殊字符會被標準化，以符合當代讀者的閱讀習慣。這種方法有助於內容分析和解讀，使歷史文本更容易理解。這些正規化版本通常會被用於學術版本的製作。

數據集描述

紐倫堡信件簿說明了在文件分析中使用不同轉錄方法的重要性。從歷史上看，它們被用來記錄紐倫堡小議會發往其他城市和個人的信件。通信的主題從個別公民的日常經濟或法律事務到與國王或其他主要城市討論帝國政治，包羅萬象。一個跨學科的項目團隊合作研究了一些保存最古老的書籍。在這個項目中，四本連續的書籍都有三種類型的註釋，每一種註釋都是為了滿足不同研究領域的特定需求而量身定制的。基礎轉錄主要用於自動文本識別，並且通常是其他數據集中的默認選項。外交轉錄和正規化轉錄分別滿足了德國研究學者和歷史學家的需求。此外，該數據集還包括有關擴展縮寫的信息，以及作者 ID 和信件起點和終點等元數據。

方法

該研究採用三階段方法創建數據集：

1. 數據採集和處理：掃描相關的歷史文件雙頁，並對頁面進行半自動分割，以將每一頁從雙頁掃描中分離出來。使用 Sobel 算子進行線條分割，並手動檢查分割結果。
2. 手動標記轉錄和元數據：由德國研究和歷史學方面的專家創建基礎轉錄，並根據需要調整邊界框。通過半自動化過程將基礎轉錄擴展為外交版本，並創建正規化版本。
3. 反覆校正和技術驗證：對轉錄和元數據進行多輪校正和技術驗證，以確保數據集的一致性和準確性。技術驗證包括使用手寫文本識別和作者識別系統測量性能。

結果

技術驗證表明，手寫文本識別和作者識別任務的結果都非常可靠且一致，這突出了數據集和驗證方法的穩健性。包含各種轉錄類型（基礎、外交和正規化）支持對歷史文件進行更細緻的分析，這對於需要高度忠實於原始來源的人文學科研究尤其有價值。通過對錯誤案例進行額外的手動檢查，該數據集非常適合作為開發更能滿足人文學者特定需求的方法的基礎。

未來方向

未來的研究可以利用在這個數據集上訓練的模型，半自動地處理紐倫堡信件簿系列中的其他書籍，從而提高人文學者對這些豐富歷史內容的可訪問性，並使其能夠進行更深入的探索。此外，考慮到數據集的大小和可變性，文件分析專家可以研究大型語言模型和視覺語言模型的應用，以進一步推進對這類歷史數據的分析。

統計資料

該數據集包括 4 本書，包含 1711 個標記頁面，由 10 位抄寫員書寫。
為手寫文本識別提供了三種類型的轉錄：基礎、外交和正規化。
對於後兩種轉錄，還提供了帶和不帶擴展縮寫的版本。
字母 ID 和作者 ID 的組合支持作者識別，因為頁面內的作者會發生變化。
在技術驗證中，我們為各種任務建立了基準，證明了數據的一致性，並為未來的研究提供了基準。

引述

「在歷史文件數位化和手寫文本識別中，一個重大挑戰在於彌合僅僅掃描古代手稿與真正訪問和理解它們所呈現的語料庫之間的差距。」
「隨著檔案館中掃描文件數量的持續增長，對多樣化自動轉錄方法的需求變得越來越重要。」
「最終，該數據集旨在彌合大量數位化歷史文本與人文學科研究的複雜多樣需求之間的差距，從而能夠更深入、更簡化地探索我們的歷史。」

從以下內容提煉的關鍵洞見

Nuremberg Letterbooks: A Multi-Transcriptional Dataset of Early 15th Century Manuscripts for Document Analysis

by Mart... 於 arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.07138.pdf

深入探究

這個數據集如何被用於訓練可以轉錄其他歷史文本（例如，不同語言或時間段的文本）的模型？

這個數據集可以作為訓練基礎，通過遷移學習（transfer learning）來轉錄其他歷史文本，即使是不同語言或時間段的文本。
具體來說：

模型微調（Fine-tuning）： 可以使用這個數據集預先訓練一個文字識別模型（HTR）和一個筆跡識別模型。然後，針對新的歷史文本，使用新文本的少量標註數據對預訓練模型進行微調。這種方法可以利用預訓練模型已經學習到的文字特徵和筆跡風格，快速適應新的數據集。
特徵提取（Feature extraction）： 可以將預訓練模型作為特徵提取器，從新的歷史文本圖像中提取出高層次的特徵表示。然後，將這些特徵輸入到一個新的分類器或序列標註模型中，進行文字轉錄。這種方法不需要在新數據集上進行大量的訓練，適用於標註數據較少的情況。
數據增強（Data augmentation）： 可以利用這個數據集中的圖像和標註信息，生成新的訓練數據，例如通過圖像旋轉、縮放、添加噪聲等方式。這些增強數據可以擴展訓練數據集的多樣性，提高模型的泛化能力，使其更好地適應其他歷史文本。

需要注意的是，不同語言和時間段的文本在文字形態、書寫風格、排版格式等方面都可能存在很大差異。因此，在將這個數據集應用於其他歷史文本時，需要根據具體情況對模型進行調整和優化，例如：

字符集調整： 需要根據新文本的語言和字符集，調整模型的輸入和輸出層。
語言模型適配： 可以引入新的語言模型，幫助模型更好地理解新文本的語法和語義信息。
書寫風格遷移： 可以通過風格遷移技術，將預訓練模型的書寫風格遷移到新的歷史文本上。

數據集中使用的標準化方法是否會在轉錄中引入任何偏見或限制對文本的解讀？

數據集中使用的標準化方法，例如將長s (ſ) 轉換為現代s，以及展開縮寫詞等，的確有可能在轉錄中引入一些偏見或限制對文本的解讀。

信息丟失： 標準化過程可能會導致原始文本中一些信息的丟失，例如長s (ſ) 和現代s在某些情況下可能具有不同的語義，縮寫詞的展開也可能存在歧義。
解讀偏差： 標準化後的文本更容易被現代人理解，但也可能導致研究者忽略原始文本中的一些細節和差異，造成對文本解讀的偏差。
時代背景淡化： 標準化可能會淡化文本的時代背景，例如將所有文本都轉換為現代拼寫和語法，可能會掩蓋不同時期語言使用的差異。
為了盡量減少這些潛在的偏見和限制，可以考慮以下措施：

保留原始文本信息： 在進行標準化處理的同時，保留原始文本的圖像和轉錄信息，方便研究者回溯和比對。
提供多種轉錄版本： 提供不同程度的標準化版本，例如基本轉錄、外交轉錄和規範化轉錄，讓研究者根據自己的需要選擇使用。
標註標準化信息： 在轉錄文本中，標註出經過標準化處理的部分，提醒研究者注意這些部分可能存在的解讀差異。
總之，標準化方法在歷史文本轉錄中是一把雙刃劍，既可以提高文本的可讀性和可處理性，也可能引入一些偏見和限制。在使用標準化方法時，需要權衡利弊，並采取相應的措施來減少其負面影響。

人工智能和機器學習在歷史研究中的應用如何改變我們與過去互動和理解過去的方式？

人工智能和機器學習的應用正在深刻地改變著歷史研究的方式，讓我們能夠以更全面、深入和高效的方式與過去互動和理解過去：

打破資料壁壘，拓展研究邊界： 通過文字識別、圖像分析等技術，人工智能可以幫助歷史學家處理海量的原始資料，例如手稿、碑文、古籍等，從而發現新的史料和證據，拓展歷史研究的邊界。
跨越語言障礙，促進學術交流： 機器翻譯技術的進步可以幫助歷史學家快速閱讀和理解不同語言的歷史文獻，促進跨文化和跨區域的學術交流與合作。
構建知識圖譜，揭示歷史脈絡： 人工智能可以從海量歷史資料中提取關鍵信息，構建歷史人物、事件、地點等之間的關聯關係，形成知識圖譜，幫助歷史學家更清晰地了解歷史事件的發展脈絡和影響因素。
推演歷史進程，探索歷史規律： 通過建立歷史模型和模擬歷史場景，人工智能可以幫助歷史學家推演歷史發展的可能性，探索歷史發展的規律和趨勢。

然而，人工智能和機器學習在歷史研究中的應用也面臨著一些挑戰：

數據的準確性和完整性： 歷史資料往往存在缺失、錯誤和偏差，這會影響人工智能模型的訓練和預測結果。
算法的透明度和可解釋性： 人工智能模型的決策過程 often 是黑箱操作，歷史學家需要了解模型是如何得出結論的，才能更好地評估其可靠性。
歷史研究的倫理和價值觀： 人工智能的應用需要遵循歷史研究的倫理規範，避免對歷史的歪曲和誤讀。

總之，人工智能和機器學習為歷史研究提供了強大的工具，但也帶來新的挑戰。歷史學家需要積極應對這些挑戰，將人工智能技術與傳統研究方法相結合，才能更好地利用人工智能的力量，推動歷史學科的發展。