AI 摘要
- OpenAI 已於10月22日向所有客戶正式開放 Decisions API。
- Decisions API 可將處理時間從1—3秒縮短至100—180毫秒。
- 該產品核心是重新配置 ChatGPT Luna 模型，以降低推理延遲與使用成本。
OpenAI 於10月22日正式向所有客戶開放 Decisions API，推出面向快速決策場景的 API 服務，直接參與由初創公司 TypeSafe 的 Jev 模型帶動的決策模型競爭。此產品於9月29日開發者日宣佈，核心是重新配置 ChatGPT Luna 模型以降低推理延遲與使用成本，而非專門訓練獨立的決策模型。
產品定位與目標場景
Decisions API 主要面向需要快速作出選擇的應用。決策模型能根據給定選項快速作出選擇並提供置信度評估，有望替代部分傳統大語言模型承擔的邏輯判斷環節。
主要功能與技術指標
- 處理時間由1—3秒縮短至100—180毫秒
- 公開版本新增語音和視覺模態
- 透過按地區調度推理資源降低延遲
| 項目 | 先前處理時間 | Decisions API 處理時間 |
|---|---|---|
| 整體處理時間 | 1—3秒 | 100—180毫秒 |
客戶測試成果
在 Box、Datadog、Ramp 和 Speak 等客戶的初步測試中，該 API 提升了處理吞吐量。其中，語言學習應用 Speak 將操作間隔由1.4秒縮短至0.13秒。OpenAI 也將其用於提升 Dots 語音助手的響應速度。
公開基準測試與競品比較
公開基準測試中，最新 Jev 模型在兩個決策模型指數中分別排名第七和第三，OpenAI 模型則分別位列第八和第十四。
| 模型 | 第一個決策模型指數排名 | 第二個決策模型指數排名 |
|---|---|---|
| Jev | 第7名 | 第3名 |
| OpenAI 模型 | 第8名 | 第14名 |
市場競爭與後續展望
目前 Jev、Liquid 的 D1Ultra、Base Labs 的 Elephant-1 等產品也參與競爭。隨著多模態能力與推理速度持續提升，決策模型有望拓展實時交互、圖像分類及視頻逐幀處理等應用場景，但不同任務對速度、成本和準確性的要求仍存在差異。
Reference Link : news.aibase.com
