IDC首發(fā)中國市場代碼生成產(chǎn)品評估報告

國際數(shù)據(jù)公司（IDC）于近日發(fā)布了《中國市場代碼生成產(chǎn)品評估，1H24》（Doc# CHC51598624，2024年10月），報告分析了整體代碼生成市場情況，對當(dāng)前主流產(chǎn)品進(jìn)行了多維度評估和實際測評，從C++和Java兩種語言來評估AI產(chǎn)品的生成代碼和注釋準(zhǔn)確率和可幫助性，旨在為企業(yè)選擇產(chǎn)品時提供更好的參考。

IDC預(yù)測，到2030年，AI會累計為全球經(jīng)濟帶來19.4萬億的經(jīng)濟收入，每在AI解決方案和服務(wù)上花費1美元，就可以產(chǎn)生4.6美元的經(jīng)濟收益，包括直接價值鏈?zhǔn)找婧烷g接全生態(tài)影響。

代碼生成產(chǎn)品作為生成式AI的主要服務(wù)形式之一，擁有巨大的發(fā)展空間和前景。IDC全球數(shù)據(jù)顯示，82%的開發(fā)人員已經(jīng)使用具有自動完成或智能代碼生成功能的IDE或代碼編輯器，其中71%的人表示他們編寫的代碼中有40%以上是自動生成的。另一項面向中國市場的調(diào)研數(shù)據(jù)顯示，對于已經(jīng)探索和應(yīng)用GenAI的企業(yè)，其中有31%的人員已經(jīng)使用了代碼生成產(chǎn)品。

本次報告收錄了CodeGeeX、豆包MarsCode、Q Developer、通義靈碼、騰訊云AI代碼助手、文心快碼、小浣熊Raccoon、亞信圖靈程序員共8個產(chǎn)品（按產(chǎn)品拼音首字母排序），并從產(chǎn)品能力水平（實測項）、功能豐富度、產(chǎn)品架構(gòu)、開發(fā)者體驗、商業(yè)化水平、工程化落地支持、生態(tài)布局、戰(zhàn)略領(lǐng)先性維度進(jìn)行評估，呈現(xiàn)不同產(chǎn)品的能力水平和優(yōu)勢。

實測結(jié)果如下圖所示

從上述結(jié)果可以看出，各代碼生成產(chǎn)品在C++和Java語言上已經(jīng)具備了基本的問題解決能力，可以生成有效且可用的代碼和注釋，幫助開發(fā)人員提高效率。

但在實際測評過程中IDC發(fā)現(xiàn)產(chǎn)品仍有很大改進(jìn)空間：

●   編程范式支持不足：各家均支持面向過程、對象的范式，但對于面向組件、服務(wù)、切面、函數(shù)、并發(fā)、泛型編程，頭部支持更佳；

●   理解問題表面：部分任務(wù)僅停留在處理問題的表層描述，系統(tǒng)應(yīng)根據(jù)用戶輸入識別目的，例如進(jìn)行數(shù)據(jù)處理、構(gòu)建算法、實現(xiàn)接口、性能優(yōu)化，不僅生成任務(wù)框架本身，還需考慮安全性問題、狀態(tài)管理；

●   可擴展性不足：生成的代碼不僅是短期有效，還應(yīng)具備可維護(hù)性和擴展性，遵循軟件開發(fā)的設(shè)計模式、SOLID原則等最佳實踐；

●   性能優(yōu)化不足：在處理涉及大量數(shù)據(jù)、復(fù)雜計算或?qū)崟r要求的場景時，系統(tǒng)生成的代碼應(yīng)考慮效率問題，選擇高效的算法和數(shù)據(jù)結(jié)構(gòu)，例如排序算法應(yīng)考慮數(shù)據(jù)規(guī)模和場景，而不只是單純返回通用的冒泡排序；

●   健壯性和容錯能力不足：生成的代碼應(yīng)當(dāng)能夠處理意外情況、異常輸入和潛在的錯誤，確保在各種場景下都能運行，自動生成異常處理邏輯；

●   安全考慮不足：生成的代碼在處理涉及用戶數(shù)據(jù)、身份認(rèn)證、數(shù)據(jù)庫查詢等敏感信息時，系統(tǒng)還應(yīng)當(dāng)自動加入必要的安全性檢查，防止?jié)撛诘陌踩┒?，避免直接拼接用戶輸入?/p>

IDC給技術(shù)供應(yīng)商的建議：

●   產(chǎn)品應(yīng)該深入挖掘背后的業(yè)務(wù)邏輯，很多問題的解決不僅僅依賴生成符合語法規(guī)范的代碼，還涉及如何高效的訪問、處理數(shù)據(jù)、針對場景進(jìn)行優(yōu)化；

●   代碼注釋和文檔也非常重要，幫助開發(fā)者理解思路和決策設(shè)計，特別是在復(fù)雜邏輯（如并發(fā)處理或異步操作）中，應(yīng)詳細(xì)說明各步驟的目的和流程；

●   在面對不同復(fù)雜度的問題時，應(yīng)生成靈活的代碼結(jié)構(gòu)，如模塊化、服務(wù)化的結(jié)構(gòu)，確?？紤]功能實現(xiàn)、性能優(yōu)化、可擴展性；

●   生成內(nèi)容要提供擴展性建議，考慮未來可能的擴展和優(yōu)化；

●   在某些特定場景下，不應(yīng)僅搭建簡單的框架，例如還要考慮線程管理、鎖機制、死鎖避免等問題；

●   當(dāng)涉及特定技術(shù)棧時，系統(tǒng)能識別并生成與該技術(shù)棧相匹配的最佳實踐代碼，而非通用代碼結(jié)構(gòu)。

李浩然

IDC中國高級分析師

IDC中國新興科技研究組高級分析師李浩然表示，中國市場目前仍有較大培育和發(fā)展的空間，代碼生成產(chǎn)品可以極大幫助企業(yè)提高開發(fā)效率、縮短產(chǎn)品更新周期。但企業(yè)也需要注意到，當(dāng)前生成代碼的采納率普遍在20%-30%之間，近四分之三的開發(fā)人員（72%）表示，他們需要大幅修改超過40%的自動生成代碼，這意味著大模型產(chǎn)品仍需持續(xù)提升準(zhǔn)確度，并開發(fā)新的代碼審核工具，來幫助企業(yè)審查和修訂AI生成的內(nèi)容，這也是產(chǎn)品從探索走向?qū)嶋H落地的關(guān)鍵。

IDC更多大數(shù)據(jù)、人工智能領(lǐng)域研究相關(guān)報告：

●   IDC PeerScape：生成式 AI 最佳實踐案例與探索（IDC CHC51597724，即將發(fā)布）

●   Market Glance：生成式 AI 市場概覽（IDC CHC51597624，即將發(fā)布）

●   Market Presentation：中國生成式 AI 技術(shù)進(jìn)展與趨勢，2024（IDC CHC51597427，即將發(fā)布）

如需進(jìn)一步了解與此研究相關(guān)的信息或?qū)ζ渌嚓P(guān)項目研究感興趣，請與IDC高級分析師李浩然（郵箱：leli@idc.com）聯(lián)系。

免責(zé)聲明

本文中的內(nèi)容和數(shù)據(jù)均來源于IDC所發(fā)布的報告，所有內(nèi)容及數(shù)據(jù)均為我公司所有。未經(jīng)IDC書面許可，任何機構(gòu)和個人不得以任何形式翻版、復(fù)制、刊登、發(fā)表或引用。