微軟 MAI-Base-2 完成預訓練:2.8T 參數、算力效率為 DeepSeek-V4-Pro-Base 的 4 至 12 倍

BlueSky

AI 摘要

  • 微軟 MAI-Base-2 已完成預訓練,官方稱性能強於所有參測的開源權重模型
  • 模型總參數 2.8T、活躍參數 80B,於 6000 塊英偉達 GB200 GPU 上訓練 38 天
  • 微軟稱其預訓練算力效率為 DeepSeek-V4-Pro-Base 的 4 至 12 倍

微軟宣布,新一代 SOTA 基礎模型微軟 MAI-Base-2已完成預訓練。官方表示,其性能強於所有參測的開源權重模型。這次發布的重點不只在模型規模,還在於訓練效率與大型集群上的工程表現。

核心規格

根據來源資料,微軟 MAI-Base-2 的主要訓練規格如下:

項目數據
總參數規模2.8T
活躍參數80B
訓練硬件6000 塊英偉達 GB200 GPU
訓練時長38 天
平均浮點算力利用率(MFU)21%
有效吞吐量89%

算力效率與對比

微軟表示,微軟 MAI-Base-2 的預訓練算力效率達到 DeepSeek-V4-Pro-Base 的 4 至 12 倍。在超大集群上維持 21% 的平均浮點算力利用率與 89% 的有效吞吐量,被視為工程能力的具體體現。在業界持續投入大量資本建設基礎設施的情況下,單位算力產出的差距比單純增加參數規模更具策略意義。

技術策略

微軟將這次成果歸因於三項因素:科學化的規模化、模型與基礎設施的協同設計,以及數據規模化。換言之,這次突破並非單純增加運算資源,而是讓算法、硬件與數據配方同步優化。

後續發展

在 微軟 MAI-Base-2 完成預訓練的同時,微軟也已啟動 MAI-Base-3 的籌備工作,顯示其在基礎模型競賽中持續加速布局。

Reference Link : news.aibase.com

Related Articles

Stay Connected

0FansLike
0FollowersFollow
22,800SubscribersSubscribe
spot_img

Latest Articles