2月27日消息，今天是DeepSeek開源周第四日,，不同于前三日早早就發(fā)出的開源項目,。

今天DeepSeek公布開源項目，比平日稍微晚些,，讓關(guān)注者們等的稍微有點著急,，包括小編在內(nèi)。

但是等待的結(jié)果總是值得的,，這不今天公布了兩項開源內(nèi)容,。話不多說，轉(zhuǎn)入正題,。

今天DeepSeek發(fā)布了DualPipe（雙向管道并行算法）和EPLB（專家并行負載均衡器）,。

據(jù)DeepSeek介紹，DualPipe是一項在DeepSeek-V3技術(shù)報告中引入的雙向管道等值算法,，它實現(xiàn)了向后和向后計算通信階段的雙向重疊,，顯著減少訓(xùn)練空閑時間。

同時,，流水線氣泡優(yōu)化這一創(chuàng)新調(diào)度策略,，降低傳統(tǒng)管道并行中的“氣泡”問題，有效提升硬件資源利用率,。在GitHub上,，目前該算法已經(jīng)獲得544個Star收藏。

另外,，在此談一談EPLB（專家并行負載均衡器）,。

EPLB（專家并行負載均衡器）具有動態(tài)負載均衡、分層與全局平衡結(jié)合,、流量優(yōu)化的特點,。

具體來看，動態(tài)負載均衡是基于混合專家（MoE）架構(gòu)，通過冗余專家策略復(fù)制高負載專家,，并采用啟發(fā)式分配算法優(yōu)化GPU間的負載均衡,；

另外在分層與全局平衡結(jié)合方面，它既支持單個節(jié)點的分層負載管理,，也實現(xiàn)跨節(jié)點的全局負載平衡,，減少GPU閑置。

此外在流量優(yōu)化上,，可在平衡負載的同時,，通過調(diào)整專家分布降低節(jié)點間通信數(shù)據(jù)量，提升整體訓(xùn)練效率,。