大型語言模型在程式碼翻譯方面的潛力：我們走了多遠？（兼論其局限性與提升方法）

Keskeiset käsitteet

大型語言模型（LLM）在程式碼翻譯方面具有巨大潛力，但目前的模型在處理 Python 語言的翻譯任務時仍面臨挑戰，特別是在 Python 到其他語言的翻譯方向上。

Tiivistelmä

這篇研究論文探討了大型語言模型（LLM）在程式碼翻譯任務上的表現。作者們首先指出，儘管 LLM 在許多程式碼理解和生成任務中表現出色，但在程式碼翻譯方面仍有待充分挖掘。
研究問題
為了解決現有程式碼翻譯基準測試的局限性，作者們建立了一個新的基準測試 PolyHumanEval，涵蓋了 14 種程式語言。基於此基準測試，他們對多個最先進的程式碼 LLM 進行了超過 110,000 次翻譯的評估，並試圖回答以下研究問題：

程式碼 LLM 在執行程式碼翻譯方面的效率如何？
如何有效地提示 LLM 進行原始碼翻譯？
有哪些有效的方法可以提高 LLM 在程式碼翻譯方面的效能？

研究發現
研究結果表明，LLM 在程式碼翻譯方面表現出不對稱的能力：

LLM 在將其他語言翻譯成 Python 時表現出色，但在將 Python 翻譯成其他語言時卻面臨挑戰。
LLM 在理解和生成同一種語言的程式碼方面也表現出不對稱的能力。
廣泛採用的 LLM 優化技術，如指令微調，對程式碼翻譯的影響微乎其微。
提升方法
為了進一步提高 LLM 在程式碼翻譯方面的效能，作者們提出了兩種新方法：

中介翻譯：選擇一種介於源語言和目標語言之間的中介語言進行翻譯。研究發現，Go 語言可以作為一種通用語言，用於在任何兩種研究語言之間進行翻譯。
自我訓練：在自我生成的平行程式碼上對 LLM 進行微調。

實驗結果表明，這兩種方法都能顯著提高 LLM 的程式碼翻譯能力。

Tilastot

CodeLlama-13B 在將其他語言翻譯成 Python 時的平均計算精度 (CA) 得分为 86.16，但在將 Python 翻譯成其他語言時下降到 66.93。
在所有研究的程式語言中，Go 語言最容易被 LLM 理解，而 Python 語言最難理解。在目標語言中，Python 語言最容易生成，而 Rust 語言最難生成。
使用 Go 語言作為中介語言進行翻譯，在所有任務中都能持續提高效能。
在 Python→Go 翻譯任務中，使用自我生成的驗證資料進行微調，可以使 CA 得分提高 14.57%。
結合自我訓練和中介翻譯的方法在 Python→X 任務上取得了最佳效能，平均 CA 得分为 74.77，比原始 CodeLlama-13B 提高了 11.7%。

Tärkeimmät oivallukset

Unraveling the Potential of Large Language Models in Code Translation: How Far Are We?

by Qingxiao Tao... klo arxiv.org 10-15-2024

https://arxiv.org/pdf/2410.09812.pdf

Syvällisempiä Kysymyksiä

除了 Go 語言之外，還有哪些其他程式語言可以作為中介語言來提高程式碼翻譯的效能？

除了 Go 語言之外，根據文章內容與實驗結果，還有 C++、C# 和 Java 等程式語言可以被考慮作為中介語言來提高程式碼翻譯的效能。

C++、C# 和 Java 作為中介語言的優勢:

語法結構相對規範: 這些語言的語法結構相對比較規範，更貼近程式語言的基礎語義，有助於 LLM 更好地理解程式碼的邏輯結構。
廣泛應用於實際專案: 這些語言在實際軟體開發中應用廣泛，擁有大量的程式碼資料，可以為 LLM 提供更豐富的學習素材。
生態系統成熟: 這些語言擁有成熟的生態系統，包括各種函式庫和框架，可以幫助 LLM 更好地處理不同程式碼翻譯任務中的特定需求。

選擇中介語言的考量因素:

與目標語言的相似性: 選擇與目標語言語法和程式設計範式更相似的中介語言，可以減少翻譯過程中的資訊損失和錯誤。
LLM 對中介語言的理解能力: 選擇 LLM 已經在預訓練階段學習過，並且理解能力較強的中介語言，可以提高翻譯的準確性和效率。
需要注意的是，最佳的中介語言選擇可能因具體的翻譯任務而異。建議根據源語言、目標語言和 LLM 的特性，綜合考慮各種因素後進行選擇。

雖然自我訓練可以提高 LLM 在特定翻譯任務上的效能，但它是否會導致模型在其他任務上的效能下降？如何減輕這種負面影響？

的確，文章中提到，雖然自我訓練可以提高 LLM 在特定翻譯任務 (例如 Python→Go) 上的效能，但它也可能導致模型在其他任務 (例如 Go→Python) 上的效能下降。

效能下降的原因:

資料偏差: 自我生成的程式碼資料集中，源語言程式碼 (例如 Python) 往往較為複雜多樣，而目標語言程式碼 (例如 Go) 則傾向於簡單直接，這導致模型學習到的資料分佈存在偏差，影響了其在其他翻譯方向上的泛化能力。
任務間的干擾: 不同翻譯任務之間可能存在一定的語義和語法差異，過度強化特定翻譯方向的訓練可能會干擾模型對其他翻譯任務的理解和處理。

減輕負面影響的策略:

平衡資料集: 在進行自我訓練時，應盡量保證訓練資料集中不同翻譯方向的資料量和資料分佈相對平衡，避免模型過擬合到特定翻譯任務上。
多工學習: 可以將程式碼翻譯視為一個多工學習問題，將不同翻譯方向的任務聯合訓練，讓模型同時學習多種語言的語義和語法特徵，提高其泛化能力。
持續預訓練: 在自我訓練後，可以繼續使用大規模、多樣化的程式碼資料對模型進行持續預訓練，鞏固其對不同程式語言的理解，並減輕自我訓練帶來的資料偏差影響。
正則化技術: 在模型訓練過程中，可以應用正則化技術 (例如 dropout、weight decay) 來限制模型參數的過度調整，提高其泛化能力。
總之，要充分發揮自我訓練在程式碼翻譯中的優勢，需要關注資料平衡、任務間干擾等問題，並採取相應的策略來減輕其負面影響，才能訓練出更强大、更通用的程式碼翻譯模型。

如果將程式碼翻譯視為一種程式碼生成任務，那麼現有的程式碼生成技術是否可以應用於提高程式碼翻譯的效能？

的確，程式碼翻譯可以被視為一種程式碼生成任務，因此現有的程式碼生成技術也可以應用於提高程式碼翻譯的效能。

可應用的程式碼生成技術:

抽象語法樹 (AST) 的應用: 將源程式碼解析成 AST，再根據目標語言的語法規則生成目標程式碼，可以更好地保留程式碼的語義資訊，減少翻譯錯誤。
基於語義的程式碼生成: 利用程式碼的語義資訊 (例如變數類型、函數功能) 來指導程式碼生成，可以提高翻譯的準確性和可讀性。
神經機器翻譯 (NMT) 模型: 將源程式碼和目標程式碼視為兩種不同的語言，利用 NMT 模型學習它們之間的映射關係，可以實現端到端的程式碼翻譯。

程式碼生成技術應用於程式碼翻譯的優勢:

提高翻譯的準確性: 程式碼生成技術可以更好地理解和處理程式碼的語法和語義資訊，從而提高翻譯的準確性。
增強翻譯的可讀性: 程式碼生成技術可以根據目標語言的程式設計規範生成更符合程式設計習慣的程式碼，提高翻譯的可讀性。
擴展翻譯的應用範圍: 程式碼生成技術可以應用於更廣泛的程式碼翻譯任務，例如跨程式設計範式、跨程式設計語言的程式碼翻譯。

挑戰與展望:

需要處理不同程式語言之間的語義差異: 程式碼生成技術需要能夠有效地處理不同程式語言之間的語義差異，例如資料類型、函數庫等方面的差異。
需要保證生成的程式碼的正確性和可靠性: 程式碼翻譯生成的程式碼需要經過嚴格的測試和驗證，確保其正確性和可靠性。
總之，將程式碼生成技術應用於程式碼翻譯是一個很有前景的方向，可以有效地提高程式碼翻譯的效能。相信隨著程式碼生成技術的發展，程式碼翻譯的效率和準確性將會得到進一步提升。