2月9日消息,,飛騰官方宣布,,飛騰騰云S5000C、飛騰騰銳D3000處理器已成功實現(xiàn)對DeepSeek全系列大模型的端到端支持,,覆蓋數(shù)據(jù)中心和終端場景,,而且性能非常出色。
其實在2024年,,DeepSeek-V2.5 236B大模型就已經(jīng)在飛騰騰云S5000C平臺成功穩(wěn)定運行,。
DeepSeek-V3、R1版本發(fā)布后,,飛騰第一時間在騰云S5000C,、騰銳D3000平臺上本地部署驗證,形成整體解決方案,,構(gòu)建端到端的國產(chǎn)平臺DeepSeek大模型智算環(huán)境,。
在數(shù)據(jù)中心側(cè),騰云S5000C服務(wù)器可以與多款AI加速卡配合,,實現(xiàn)DeepSeek蒸餾版和全量版的部署,。
根據(jù)官方實測,飛騰騰云S5000C搭配8塊國產(chǎn)的AI加速卡,,蒸餾版DeepSeek-R1-Distill-Llama-70B版本的推理速度可達到每秒22個tokens,,本地部署的推理效率與國外同類產(chǎn)品架構(gòu)解決方案相當,整體性能相當于國外平臺性能的80%左右,。
同時,,完整版DeepSeek R1 671B模型采用分布式推理框架,基于四機,、32卡AI服務(wù)器集群,,也已部署成功。
在用戶終端側(cè),,基于騰銳D3000,、銀河麒麟V10系統(tǒng)的臺式機,可以本地部署DeepSeek-R1 7B蒸餾版模型,,再搭配1張國產(chǎn)推理卡,,就實現(xiàn)了AI PC能力,能夠建立安全可靠的本地知識助手,。
現(xiàn)階段,,飛騰平臺已實現(xiàn)端到端支持DeepSeek全系列、眾多開源和國產(chǎn)頭部大模型的本地化部署,,可為企業(yè)級和個人應用提供全國產(chǎn)化,、軟硬一體,、性價比高、安全,、開放的全棧解決方案,。