מושגי ליבה
本研究提出了一種新的方法,利用持續預訓練和模型合併來建構金融領域的指令調整型大型語言模型,無需使用指令數據。
תקציר
本研究提出了一種新的方法,利用持續預訓練和模型合併來建構金融領域的指令調整型大型語言模型,無需使用指令數據。
首先,我們建構了一個日語金融語料庫用於持續預訓練。利用這個語料庫,我們對通用預訓練的大型語言模型進行了持續預訓練,並確認了其在金融領域的知識獲取。
接下來,我們對通用指令調整型和特定領域預訓練的大型語言模型進行了模型合併。我們的實驗結果表明,這種方法成功地建構了金融領域的指令調整型大型語言模型。
我們的方法假設指令支持和特定領域知識在任務算術上是獨立的,這一假設也得到了驗證。這就是為什麼我們能夠在沒有指令數據的情況下建構金融領域的指令調整型大型語言模型。
我們的方法在計算和數據建構成本方面都很高效。與傳統方法相比,我們的方法只需要特定領域的持續預訓練,而不需要特定領域的指令調整。此外,模型合併也不需要額外的計算成本。
未來的研究方向包括:1)在其他領域和模型上驗證我們的方法;2)釐清任務算術假設的條件;3)提高翻譯性能;4)使用更複雜的方法改進模型合併。
סטטיסטיקה
我們建構了一個包含約810萬篇文檔和3.7億個詞元的日語金融語料庫。