您的位置:首頁(yè) >滾動(dòng) >

重磅!PerfXLM+推理框架支持DeepSeek全系列模型!

2025-02-07 10:29:11    來(lái)源:今日熱點(diǎn)網(wǎng)

澎峰科技最新消息,公司自主研發(fā)的PerfXLM+推理框架已基于海光DCU,完成對(duì)DeepSeek全系列模型的深度適配與優(yōu)化,AI大模型應(yīng)用效能大幅提升。

PerfXLM+推理框架通過(guò)底層架構(gòu)優(yōu)化,全面適配海光DCU算力臺(tái),為DeepSeek模型提供了高性能支持。針對(duì)DeepSeek-R1-Distill系列等模型,框架結(jié)合海光DCU的并行計(jì)算能力,可顯著降低資源消耗,在同等硬件條件下進(jìn)一步提高了推理效率。

另外,海光DCU作為關(guān)鍵“媒介”,采用兼容度最高的GPGPU通用加速計(jì)算架構(gòu),可支撐DeepSeek模型直接運(yùn)行,大幅減少底層適配工作量,技術(shù)團(tuán)隊(duì)僅需聚焦模型精度驗(yàn)證與持續(xù)性能優(yōu)化,即可實(shí)現(xiàn)高效部署。

PerfXLM+推理框架目前已覆蓋自然語(yǔ)言處理、多模態(tài)理解等核心場(chǎng)景,客戶(hù)可基于海光DCU集群實(shí)現(xiàn)模型快速迭代與彈性擴(kuò)展,滿足各行各業(yè)的實(shí)時(shí)推理需求。

并且,PerfXLM+推理框架通過(guò)模型量化、算子融合等核心技術(shù),正在進(jìn)一步挖掘海光DCU的異構(gòu)計(jì)算潛力,為企業(yè)提供更高質(zhì)量、低成本的AI推理服務(wù)。

隨著“框架+硬件+模型”的全棧能力構(gòu)建完畢,國(guó)產(chǎn)廠商或?qū)⒓铀俅蚱破髽I(yè)AI部署門(mén)檻。

圖片1.png

免責(zé)聲明:市場(chǎng)有風(fēng)險(xiǎn),選擇需謹(jǐn)慎!此文僅供參考,不作買(mǎi)賣(mài)依據(jù)。

關(guān)鍵詞:

相關(guān)閱讀