IT之家 11 月 17 日消息，編程 IDE 開發商 JetBrains 今日發文，隨着 AI 的興起，現在的一項關鍵挑戰是如何衡量 AI 輔助工具在現實世界中帶來的效率提升。為了應對這一挑戰，JetBrains 決定打造 Developer Productivity AI Arena（DPAI Arena），並最終將其獻給 Linux Foundation。

DPAI Arena 宣稱是業內首款開放式、多語言、多框架和多工作流基準測試平台，旨在衡量 AI 編碼智能體在現實世界軟件工程任務中的成效。它圍繞靈活且基於路徑的架構構建而成，能夠對各種工作流（例如，修補、bug 修正、PR 審查、測試生成、靜態分析等）進行公平、可重現的比較。

JetBrains 表示，當前的基準測試所依賴的數據集已過時，涵蓋的技術範圍狹窄，並且過於侷限地關注問題到補丁工作流。隨着 AI 編碼工具的快速發展，業界仍然缺乏一箇中立且基於標準的框架，用於衡量它們對開發者工作效率的真正影響。

DPAI Arena 將可衡量的工作效率帶入 AI 輔助軟件開發領域。Spring Benchmark是該平台的第一項基準，它帶來了針對未來貢獻的技術標準。首先，它實現了數據集創建準則，並詳細說明了支持的評估格式和一般規則。其次，它為解耦基礎架構提供了基礎，使任何人都能採用自己的數據集（BYOD 方式）並重用基礎架構進行自己的評估。

JetBrains 官方也在關注 Spring AI Bench，以擴展 DPAI Arena 中的 Java 基準測試流，並與該項目的核心團隊緊密合作以推動 Java 生態系統中的更多可變性和多路徑基準測試。

JetBrains 計劃將此項目獻給 Linux Foundation，供其建立多元且包容的技術指導委員會，以確定平台的未來發展方向。