AI 摘要
- OpenAI 將核心線上儲存平台 Habitat 從 Python 改寫為 Rust。
- 這項重寫由 2 名資深工程師搭配 AI 工具完成。
- OpenAI 稱新架構的 CPU 效率提升 6 倍。
OpenAI 揭露旗下核心線上儲存平台「Habitat」的架構演進，宣布這套系統已從 Python 全面改寫為 Rust。Habitat 每秒需承受超過 7,000 萬次請求（QPS），是支撐其服務資料存取的關鍵基礎設施。OpenAI 表示，這次重寫由 2 名資深工程師主導，並以自家的 Codex 與 GPT-5.5 程式碼生成模型輔助，在數個月內完成；官方公布的數據為 CPU 效率提升 6 倍、記憶體使用降低 15 倍。
Habitat 的起點：嵌在 ChatGPT 主伺服器內的共享函式庫
時序回到 2024 年，Habitat 最初只是嵌在 ChatGPT 主伺服器內的 Python 客戶端共享函式庫（Shared Library）。其設計初衷相當務實：讓產品工程師能專注於快速迭代功能，不必深陷微軟 Azure Cosmos DB 等底層資料庫的複雜細節。
當時 Habitat 包辦了資料型態辨識、動態路由、資料加解密、序列化以及底層連線池的管理工作，工程師只要呼叫簡潔的 API，即可完成資料存取。OpenAI 指出，這套架構協助其撐過生成式 AI 起步階段的爆發性擴張。
2025 年年中：共享函式庫的相依性問題浮現
隨著內部產品線急速擴張，共享函式庫的痛點在 2025 年年中浮現。一旦底層儲存邏輯需要微調或進行安全性修補，工程團隊就必須協調全公司數十個獨立服務同步重新建置與部署，發布流程的相依性與突發故障風險隨之升高。
為解決這個問題，OpenAI 將 Habitat 從各服務的內部函式庫剝離，改造成集中式的微服務架構。轉向獨立服務後，儲存層可自主部署與監控；透過統一的 Habitat 閘道，OpenAI 也能在單一中樞集中把關存取授權、審計稽核日誌（Audit Log）與儲存資源配額。OpenAI 表示，這降低了外部攻擊、內部越權，以及日益自主化的 AI 代理（AI Agents）意外洩露使用者隱私資料的風險。
Python 的最佳化極限
即便拆分為獨立服務，Python 在每秒數千萬次請求下的瓶頸仍被放大。OpenAI 說明，在高併發情境中，行程間的 CPU 負載切換、記憶體管理開銷與非同步排程延遲，隨時可能引發嚴重的長尾延遲（Tail Latency）。
為了延續 Python 架構，團隊幾乎用盡最佳化手段，包括：
- 嚴格限制單機併發請求量
- 大量堆疊工作行程（Workers）
- 重構非同步事件迴圈
- 延後並降低大體積 JSON 設定檔的解析頻率
團隊在排查效能抖動時還發現一個隱蔽陷阱：Python 常用的非同步 HTTP 模組 aiohttp，預設採用後進先出（LIFO）的連線復用策略，導致流量反覆灌入少數回應遲鈍的處理序；團隊將其改為先進先出（FIFO）後，才改善負載不均的情況。
查詢層的防禦性設計
在資料查詢層面，Habitat 僅對外暴露嚴格受限的 NoSQL 介面，不允許客戶端發起任意 SQL 跨表關聯（JOIN）或大規模全表掃描。針對需要複雜檢索與商業分析的情境，系統透過變更資料擷取（CDC，Change Data Capture）機制，將儲存變更近乎即時地同步至 Rockset 向量與分析引擎，把交易型寫入負載與分析型讀取負載徹底解耦。
2026 年第二季啟動：以 Rust 全面重寫
當架構修補走到物理極限，OpenAI 決定不再妥協。2026 年第二季，全面重寫計畫正式啟動，將承載公司命脈的 Habitat 以 Rust 語言重新打造。Rust 以記憶體安全與極致效能聞名。
推動這場架構遷徙的核心人力只有 2 名資深工程師，並在 OpenAI 自家的 AI 輔助開發工具 Codex 與最新世代 GPT-5.5 協同作業下進行。從複雜的 Cosmos DB 通訊協定封裝、高併發連線池重寫，到嚴苛的邊界條件測試與並行驗證，AI 工具承擔了大量重複且耗時的搬遷工程。
OpenAI 指出，純 Rust 打造的新一代 Habitat 在短短數個月內誕生，且已接管線上高達 95% 的真實生產環境請求，最後的 Python 舊服務預計在未來數週內徹底除役。
已公布的關鍵數據
| 項目 | 內容 |
|---|---|
| 平台名稱 | Habitat |
| 原架構語言 | Python |
| 新架構語言 | Rust |
| 尖峰請求量 | 每秒超過 7,000 萬次（QPS） |
| 投入人力 | 2 名資深工程師 |
| AI 輔助工具 | Codex、GPT-5.5 |
| 官方公布效能 | CPU 效率提升 6 倍、記憶體使用降低 15 倍 |
| 遷移進度 | 已接管約 95% 的生產環境請求 |
| 舊服務除役 | 預計未來數週內 |
尚待觀察之處
目前公開的說明聚焦於架構調整與效能數據。依現有資訊，這場重寫的實際成本、遷移期間是否出現服務中斷或回滾，以及 AI 工具在此類底層系統重構中的具體分工，均未對外揭露。
Habitat 從共享函式庫演進為集中式微服務，再到以 Rust 全面重寫，反映出超高吞吐量系統在語言選擇上的取捨。這類以 AI 工具輔助的大規模底層重構，其實際長期維運表現仍待後續觀察。
Reference Link : techbang.com
