IDC首發(fā)中國市場代碼生成產品評估報告

國際數據公司（IDC）于近日發(fā)布了《中國市場代碼生成產品評估，1H24》（Doc# CHC51598624，2024年10月），報告分析了整體代碼生成市場情況，對當前主流產品進行了多維度評估和實際測評，從C++和Java兩種語言來評估AI產品的生成代碼和注釋準確率和可幫助性，旨在為企業(yè)選擇產品時提供更好的參考。

IDC預測，到2030年，AI會累計為全球經濟帶來19.4萬億的經濟收入，每在AI解決方案和服務上花費1美元，就可以產生4.6美元的經濟收益，包括直接價值鏈收益和間接全生態(tài)影響。

代碼生成產品作為生成式AI的主要服務形式之一，擁有巨大的發(fā)展空間和前景。IDC全球數據顯示，82%的開發(fā)人員已經使用具有自動完成或智能代碼生成功能的IDE或代碼編輯器，其中71%的人表示他們編寫的代碼中有40%以上是自動生成的。另一項面向中國市場的調研數據顯示，對于已經探索和應用GenAI的企業(yè)，其中有31%的人員已經使用了代碼生成產品。

本次報告收錄了CodeGeeX、豆包MarsCode、Q Developer、通義靈碼、騰訊云AI代碼助手、文心快碼、小浣熊Raccoon、亞信圖靈程序員共8個產品（按產品拼音首字母排序），并從產品能力水平（實測項）、功能豐富度、產品架構、開發(fā)者體驗、商業(yè)化水平、工程化落地支持、生態(tài)布局、戰(zhàn)略領先性維度進行評估，呈現不同產品的能力水平和優(yōu)勢。

實測結果如下圖所示

從上述結果可以看出，各代碼生成產品在C++和Java語言上已經具備了基本的問題解決能力，可以生成有效且可用的代碼和注釋，幫助開發(fā)人員提高效率。

但在實際測評過程中IDC發(fā)現產品仍有很大改進空間：

●   編程范式支持不足：各家均支持面向過程、對象的范式，但對于面向組件、服務、切面、函數、并發(fā)、泛型編程，頭部支持更佳；

●   理解問題表面：部分任務僅停留在處理問題的表層描述，系統(tǒng)應根據用戶輸入識別目的，例如進行數據處理、構建算法、實現接口、性能優(yōu)化，不僅生成任務框架本身，還需考慮安全性問題、狀態(tài)管理；

●   可擴展性不足：生成的代碼不僅是短期有效，還應具備可維護性和擴展性，遵循軟件開發(fā)的設計模式、SOLID原則等最佳實踐；

●   性能優(yōu)化不足：在處理涉及大量數據、復雜計算或實時要求的場景時，系統(tǒng)生成的代碼應考慮效率問題，選擇高效的算法和數據結構，例如排序算法應考慮數據規(guī)模和場景，而不只是單純返回通用的冒泡排序；

●   健壯性和容錯能力不足：生成的代碼應當能夠處理意外情況、異常輸入和潛在的錯誤，確保在各種場景下都能運行，自動生成異常處理邏輯；

●   安全考慮不足：生成的代碼在處理涉及用戶數據、身份認證、數據庫查詢等敏感信息時，系統(tǒng)還應當自動加入必要的安全性檢查，防止?jié)撛诘陌踩┒?，避免直接拼接用戶輸入?/p>

IDC給技術供應商的建議：

●   產品應該深入挖掘背后的業(yè)務邏輯，很多問題的解決不僅僅依賴生成符合語法規(guī)范的代碼，還涉及如何高效的訪問、處理數據、針對場景進行優(yōu)化；

●   代碼注釋和文檔也非常重要，幫助開發(fā)者理解思路和決策設計，特別是在復雜邏輯（如并發(fā)處理或異步操作）中，應詳細說明各步驟的目的和流程；

●   在面對不同復雜度的問題時，應生成靈活的代碼結構，如模塊化、服務化的結構，確?？紤]功能實現、性能優(yōu)化、可擴展性；

●   生成內容要提供擴展性建議，考慮未來可能的擴展和優(yōu)化；

●   在某些特定場景下，不應僅搭建簡單的框架，例如還要考慮線程管理、鎖機制、死鎖避免等問題；

●   當涉及特定技術棧時，系統(tǒng)能識別并生成與該技術棧相匹配的最佳實踐代碼，而非通用代碼結構。

李浩然

IDC中國高級分析師

IDC中國新興科技研究組高級分析師李浩然表示，中國市場目前仍有較大培育和發(fā)展的空間，代碼生成產品可以極大幫助企業(yè)提高開發(fā)效率、縮短產品更新周期。但企業(yè)也需要注意到，當前生成代碼的采納率普遍在20%-30%之間，近四分之三的開發(fā)人員（72%）表示，他們需要大幅修改超過40%的自動生成代碼，這意味著大模型產品仍需持續(xù)提升準確度，并開發(fā)新的代碼審核工具，來幫助企業(yè)審查和修訂AI生成的內容，這也是產品從探索走向實際落地的關鍵。

IDC更多大數據、人工智能領域研究相關報告：

●   IDC PeerScape：生成式 AI 最佳實踐案例與探索（IDC CHC51597724，即將發(fā)布）

●   Market Glance：生成式 AI 市場概覽（IDC CHC51597624，即將發(fā)布）

●   Market Presentation：中國生成式 AI 技術進展與趨勢，2024（IDC CHC51597427，即將發(fā)布）

如需進一步了解與此研究相關的信息或對其他相關項目研究感興趣，請與IDC高級分析師李浩然（郵箱：leli@idc.com）聯(lián)系。

免責聲明

本文中的內容和數據均來源于IDC所發(fā)布的報告，所有內容及數據均為我公司所有。未經IDC書面許可，任何機構和個人不得以任何形式翻版、復制、刊登、發(fā)表或引用。