近日，螞蟻集團AI創(chuàng)新研發(fā)部門NextEvo全面開源AI Infra技術,，可幫助大模型千卡訓練有效時間占比超過95%,，能實現(xiàn)訓練時“自動駕駛”，這推動了AI研發(fā)效率,。

該技術框架名為DLRover,，目標在于大規(guī)模分布式訓練的智能化。目前很多企業(yè)的訓練作業(yè)都是跑在混合部署的集群中,，運行環(huán)境復雜多變,，不管多么“崎嶇的地形”，DLRover都可以“輕松行駛”,。

2023年大模型技術的發(fā)展,，帶來了工程實踐的爆發(fā)，如何管理數(shù)據,，提高訓練和推理效率,，最大化利用現(xiàn)有算力，成了關鍵一環(huán),。

完成一個千億參數(shù)級別的大模型,，如GPT-3，用一張卡訓練一次要耗時32年,，那么訓練時的算力利用尤為重要,。方法之一是把能用的算力用得更好，比如進一步壓榨已購買GPU的性能,；二是把以前利用不了的算力用起來,，比如CPU、內存等,，這就需要通過異構計算平臺來解決,。

據悉，最新集成進DLRover的是Flash Checkpoint（FCP）方案,。模型訓練時,，一般要打Checkpoint（檢查點），以便中斷時能恢復到最近狀態(tài)，目前常規(guī)的做法,，存在著耗時長,、高頻打點易降低訓練可用時間、低頻打點恢復時丟失過多等缺點,。新方案FCP應用在千卡千億參數(shù)模型訓練后,，Checkpoint 導致的訓練浪費時間降低約5倍，其中持久化時間降低約70倍,，有效訓練時間從90%提升至95%,。