Deegen：一種用於動態語言，能生成具備 JIT 功能虛擬機器的工具

핵심 개념

Deegen 是一種元編譯器，它能以類似於編寫簡單直譯器的工程成本，為動態語言自動生成具備高效能 JIT 功能的虛擬機器，從而解決了效能和工程成本之間的矛盾。

초록

簡介

動態語言以其高生產力而廣泛應用，但由於無法靜態編譯成高效的原生代碼，因此也以速度慢而聞名。
即時編譯器 (JIT) 通過在運行時進行基於配置文件的推測性編譯來提高動態語言的性能，但構建一個良好的 JIT 虛擬機器 (VM) 非常困難。
現有的解決方案，如從其他語言中調整虛擬機器或使用 Truffle 框架，都存在著顯著的缺點。
Deegen 的解決方案

Deegen 是一種編譯器生成器，它可以在構建時從 C++ 位元組碼語義自動生成虛擬機器執行引擎。
Deegen 自動生成一個具有最先進直譯器、最先進基準 JIT 編譯器和連接這兩層的自適應系統的雙層虛擬機器執行引擎。
Deegen 的優勢

首次展示了 JIT 編譯器的自動生成，以及性能優於現有技術的直譯器的自動生成。
從單一事實來源（C++ 位元組碼語義）自動生成具備雙層 JIT 功能的虛擬機器以及相關的性能分析、層級提升和 OSR 入口邏輯。
自動生成最先進的直譯器，其代碼質量可以匹配甚至超越由專家手工編寫的彙編代碼。
自動生成最先進的基準 JIT 編譯器，該編譯器具有可忽略不計的啟動延遲，並生成可與現有最先進基準 JIT 相媲美的高質量機器代碼。
設計了一種位元組碼語義描述框架，該框架促進了位元組碼語義的構建時分析、轉換和優化；允許輕鬆表達常見的動態語言優化（例如，邏輯專用化、內聯緩存和類型推測）；並具備直觀、靈活和用戶友好的界面。
LuaJIT Remake (LJR)

使用 Deegen 實現了 LuaJIT Remake (LJR)，這是一個標準兼容的 Lua 5.1 虛擬機器。
在 44 個基準測試中，LJR 的直譯器平均比官方 PUC Lua 直譯器快 179%，比 LuaJIT 2.1 中的直譯器快 31%。
LJR 的基準 JIT 具有可忽略不計的啟動延遲，其執行性能平均比 PUC Lua 快 360%，比 LuaJIT 的優化 JIT 慢 33%（但在 44 個基準測試中有 13 個更快）。
Deegen 的架構和設計

文章詳細介紹了 Deegen 的架構和設計，包括位元組碼語義描述框架、類型推測、內聯緩存、性能分析、層級提升和 OSR 入口等關鍵組件和技術。
未來方向

Deegen 還有很多改進空間，例如垃圾回收、C 語言綁定、對更多硬件架構的支持以及併發編譯等。
總結

Deegen 為構建高性能動態語言虛擬機器提供了一種全新的方法，大大降低了工程成本，並為動態語言的未來發展帶來了新的可能性。

통계

在 44 個基準測試中，LJR 的直譯器平均比官方 PUC Lua 直譯器快 179%。
LJR 的直譯器比 LuaJIT 2.1 中的直譯器快 31%。
LJR 的基準 JIT 執行性能平均比 PUC Lua 快 360%。
LJR 的基準 JIT 比 LuaJIT 的優化 JIT 慢 33%，但在 44 個基準測試中有 13 個更快。

핵심 통찰 요약

Deegen: A JIT-Capable VM Generator for Dynamic Languages

by Haoran Xu, F... 게시일 arxiv.org 11-19-2024

https://arxiv.org/pdf/2411.11469.pdf

더 깊은 질문

Deegen 的設計理念是否可以應用於其他編譯器相關的領域，例如靜態語言編譯器或特定領域語言？

Deegen 的設計理念在一定程度上可以應用於其他編譯器相關的領域，但需要根據具體情況進行調整和擴展。
靜態語言編譯器：

優勢： Deegen 的核心優勢在於自動生成高效的解釋器和基線 JIT 編譯器，這對於需要快速啟動和執行的靜態語言（例如 Python、Java）也具有吸引力。此外，Deegen 的類型推導和優化技術可以應用於靜態語言的類型系統，進一步提升性能。
挑戰： 靜態語言通常具有更複雜的語義和類型系統，需要 Deegen 做出相應的擴展。例如，需要支持更豐富的類型推導規則、更複雜的控制流分析以及針對靜態語言特性的優化。
特定領域語言：

優勢： Deegen 非常適合用於生成特定領域語言 (DSL) 的虛擬機，因為 DSL 通常具有較為簡單的語義和語法，更容易被 Deegen 的框架所支持。此外，Deegen 可以根據 DSL 的特性進行定制化優化，生成更高效的執行引擎。
挑戰： Deegen 需要提供更便捷的接口，讓 DSL 設計者能夠方便地描述 DSL 的語義和語法。此外，需要針對不同类型的 DSL 进行定制化优化，例如针对数值计算 DSL 的向量化优化，以及针对图形处理 DSL 的并行化优化。
總之，Deegen 的設計理念為編譯器領域帶來了新的思路，但要應用於其他領域，還需要克服一些挑戰。

如果動態語言本身的設計不適合 JIT 編譯，例如高度動態的類型系統或大量的運行時反射，那麼 Deegen 的效果如何？

如果動態語言本身的設計不適合 JIT 編譯，Deegen 的效果會受到一定限制，但仍然可以帶來一些優化。

高度動態的類型系統： Deegen 的類型推導和優化技術在處理高度動態的類型系統時會遇到困難，因為在編譯時難以確定變量的精確類型。這會導致生成的代碼中包含較多的類型檢查和分支，影響執行效率。
大量的運行時反射： 運行時反射會改變程序的控制流和數據流，使得編譯時難以進行準確的分析和優化。這會降低 Deegen 生成的 JIT 代碼的效率。
儘管如此，Deegen 仍然可以帶來以下優化：

解釋器性能提升： 即使不使用 JIT 編譯，Deegen 生成的解釋器仍然經過了高度優化，可以提供比傳統解釋器更快的執行速度。
部分代码 JIT 編譯： Deegen 可以識別程序中適合 JIT 編譯的部分，例如類型相對穩定的熱點代码，並對其進行編譯優化，從而提升整體性能。
未來優化空間： Deegen 的設計可以進行擴展，以更好地支持高度動態的語言特性。例如，可以引入更強大的類型推導算法、支持動態去優化以及與運行時系統更緊密地集成。
總之，對於不適合 JIT 編譯的動態語言，Deegen 的效果會打折扣，但仍然可以作為一種有效的優化手段。

Deegen 的出現是否意味著未來編寫虛擬機器將不再需要手工編寫彙編代碼，從而徹底改變虛擬機器的開發方式？

Deegen 的出現為虛擬機器的開發帶來了新的可能性，但並不能完全取代手工編寫彙編代碼。
Deegen 的優勢：

降低開發成本： Deegen 可以自動生成高效的解釋器和 JIT 編譯器，大大降低了虛擬機器的開發成本，使得更多開發者可以參與到虛擬機器的開發中。
提高代码質量： Deegen 生成的代碼經過了嚴格的測試和驗證，可以有效減少人工編寫代碼可能引入的錯誤。
易於維護和擴展： Deegen 的代碼生成框架易於理解和維護，可以方便地添加新的功能和優化。
手工編寫彙編代碼的必要性：

極致性能： 對於一些對性能要求極高的場景，手工編寫彙編代碼仍然是必要的，因為可以針對特定硬件平台進行深度優化。
特殊指令集： 某些虛擬機器的指令集可能需要使用特殊的硬件指令來實現，這需要手工編寫彙編代碼。
底層控制： 手工編寫彙編代碼可以對程序的執行流程進行更精細的控制，例如處理一些 Deegen 無法處理的邊界情況。
未來趨勢：

混合開發模式： 未來的虛擬機器開發可能會採用 Deegen 和手工編寫彙編代碼相結合的方式，在保證性能的前提下，盡可能地降低開發成本。
Deegen 功能增強： Deegen 的功能會不斷增強，以支持更複雜的語言特性和更廣泛的硬件平台。
總之，Deegen 的出現為虛擬機器的開發帶來了革命性的變化，但手工編寫彙編代碼仍然有其存在的價值。未來虛擬機器的開發將會更加注重效率和性能的平衡，而 Deegen 將會成為其中不可或缺的一部分。