AI 摘要
- 內部智能體Argon在RE-Bench測試中任務解決率約50%，優於Gemini 3.7 Flash的27%。
- AI編寫生產代碼超過75%，但約88%代碼變更仍需人工審查，完全自主變更比例為11.9%。
- GCI通用能力指數顯示Gemini模型每月穩定增長約0.1點，尚無AI自主研發加速的統計證據。
谷歌工程師海頓·貝爾菲爾德（Haydn Belfield）近日披露最新評估數據指出，內部智能體Argon在涵蓋74項真實機器學習工程任務的RE-Bench基準測試中取得約50%的任務解決率，顯著超越Gemini 3.7 Flash的27%。然而，儘管AI在生產環境中編寫的代碼比例已超過75%，目前仍無統計學上可衡量的證據顯示AI自主驅動的研發正在出現加速跡象。
生產代碼自動化現況：高覆蓋率與人工審核並行
根據谷歌內部的統計數據，AI輔助編程的普及率正快速攀升，但現階段的核心開發流程依然高度仰賴工程師介入監督：
- 代碼生成佔比：當前AI編寫的生產代碼比例已超過75%。
- 完全自動化變更比例：完全由AI獨立處理、無需人工干預的代碼變更比例，已從7.5%提升至11.9%。
- 人工審核要求：約88%的代碼變更仍需人工監督或審查，且每次變更在提交至代碼庫前必須通過人工審核。
智能體Argon與模型基準測試表現
在1,389次Argon內部智能體運行測試中，數據顯示任務複雜度越高，AI在無人干預下的成功率便越低。在針對真實機器學習工程挑戰的RE-Bench基準測試中，Argon展現出相較現有大模型的顯著提升，但距離全面自主化仍有距離。
| 模型／智能體名稱 | RE-Bench 任務解決率 | 技術特性與定位 |
|---|---|---|
| Argon | 約 50% | 內部智能體，於1,389次運行測試中展現複雜任務處理能力，成功率隨複雜度上升而下降 |
| Gemini 3.7 Flash | 27% | 基準對照模型，在74項真實機器學習工程任務中表現出有限的自主解決率 |
通用能力指數（GCI）顯示穩定線性成長
為客觀追蹤AI研發能力演進，研究團隊構建了涵蓋123個模型、92項基準測試的通用能力指數（General Capability Index, GCI）。追蹤結果呈現以下關鍵指標：
- 增長速度：Gemini模型的能力以每月約0.1個GCI點的速度穩定增長，未觀察到統計學上顯著的指數加速跡象。
- Gemini 4 Argon表現分析：Gemini 4 Argon雖略高於增長趨勢線，但團隊評估該增長主要源自算力規模與組織資源投入的增加，而非AI自主驅動所帶來的研發自我加速。
專家觀點與研發自動化風險評估
針對12位DeepMind高級研究人員的調查顯示，AI在定義明確、結果可驗證的任務中自動化程度較高；但在創造性研究、實驗設計、訓練異常診斷以及長期規劃等維度，依然高度依賴人類科學家。
目前研究團隊評估AI驅動研究自動化帶來的即時風險相對有限，正持續完善監測體系。然而，傑弗裏·辛頓（Geoffrey Hinton）、約書亞·本吉奧（Yoshua Bengio）以及OpenAI首席科學家雅庫布·帕喬基（Jakub Pachocki）等20多位重量級學者則提出警示，認為AI可能在未來幾年內實現研發工作的高度自動化，將數年進展壓縮至數月，顯示學界與業界對AI自我改進潛力及不確定性仍存有深層分歧。
Reference Link : news.aibase.com
