核心概念
雖然生成式 AI 編碼工具可以提高生產力並帶來愉快的使用體驗,但開發者需要意識到其限制,並採用更注重驗證的新工作方式,以充分發揮這些工具的潛力。
摘要
研究論文摘要
文獻資訊: Butler, J., Suh, J., Haniyur, S., & Hadley, C. (2024). Dear Diary: A randomized controlled trial of Generative AI coding tools in the workplace. In Proceedings of ACM Conference (Conference’17). ACM, New York, NY, USA, 11 pages. https://doi.org/10.1145/nnnnnnn.nnnnnnn
研究目標: 本研究旨在探討開發者對生成式 AI 編碼工具的既有觀念,以及在實際工作中使用這些工具如何改變他們對工具或自身作為工程師的看法。
研究方法: 本研究採用隨機對照試驗,將開發者分為三組:持續使用組、控制組和治療組。研究人員收集了參與者在研究前後六週的遙測數據,並要求他們每天填寫日記,記錄他們的工作內容、使用 AI 的方式以及對 AI 的評價。
主要發現:
- 使用生成式 AI 編碼工具顯著提高了開發者對這些工具的效用和喜愛程度。
- 開發者將生成式 AI 工具用於各種用途,包括編寫樣板代碼、生成文件、作為網絡搜索的替代工具以及產生創意想法。
- 開發者在使用生成式 AI 工具時面臨著一些挑戰,例如生成的代碼看似正確但實際上存在錯誤、需要驗證代碼以確保正確性,以及工具在某些程式語言和程式碼庫中無法正常運作。
主要結論:
- 生成式 AI 編碼工具可以提高生產力並帶來愉快的使用體驗。
- 開發者需要意識到生成式 AI 工具的局限性,並採用更注重驗證的新工作方式,以充分發揮這些工具的潛力。
研究意義: 本研究是首批在真實工作環境中對 GitHub Copilot 進行隨機對照試驗的研究之一,它不僅檢驗了生成式 AI 編碼工具對量化編碼數據的影響,還探討了這些工具對開發者觀念和價值觀的影響。
研究限制和未來研究方向:
- 本研究的樣本量相對較小,未來的研究可以考慮使用更大的樣本量來驗證研究結果。
- 本研究的時間跨度相對較短,未來的研究可以考慮進行更長期的研究,以探討生成式 AI 編碼工具對開發者的長期影響。
統計資料
45% 的開發者聽說過 GitHub Copilot,但尚未嘗試過。
86% 的有經驗使用者認為 AI 編碼工具在工作中很有用,而沒有經驗的使用者中只有 44% 這麼認為。
72% 的有經驗使用者表示他們喜歡使用 AI 編碼工具,而沒有經驗的使用者中只有 43% 這麼認為。
開發者在使用生成式 AI 工具後,對這些工具的喜愛程度從 2.72 分上升到 3.61 分(滿分 5 分)。
開發者在使用生成式 AI 工具後,對這些工具的效用評分從 2.93 分上升到 3.51 分(滿分 5 分)。
引述
"AI 工具確實給了我很多建議,有些建議把我引向了錯誤的方向,但無論如何,它都能很好地激發我以不同的方式思考。" (P65)
"我認為這是編碼的未來。不使用 AI 編碼的工程師將會錯失良機。" (P66)
"今天我發現 AI 工具很有用,但真的需要以迭代的方式使用它:解決一個具體的小問題,或者先找到一個初始解決方案,然後再改進它。它還經常需要被強制告知要做什麼。" (P27)