4 月 25 日至 26 日,東南大學(xué)鯤鵬 N 騰科教創(chuàng)新孵化中心特訓(xùn)營(yíng)(第一期)在九龍湖校區(qū)成功舉辦。本次活動(dòng)由東南大學(xué)鯤鵬 N 騰科教創(chuàng)新孵化中心主辦,江蘇鯤鵬·N 騰生態(tài)創(chuàng)新中心、東南大學(xué)網(wǎng)絡(luò)與信息中心承辦,圍繞 N 騰 AI 基礎(chǔ)軟硬件解決方案、大模型訓(xùn)練與推理技術(shù)、DeepSeek 架構(gòu)解析及邊緣部署等核心議題,通過(guò)課程培訓(xùn)和實(shí)戰(zhàn)演練共 2 天的培訓(xùn)營(yíng),為東南大學(xué)計(jì)算機(jī)及相關(guān)專業(yè)本碩博生提供了一個(gè)深度技術(shù)交流平臺(tái);顒(dòng)旨在推動(dòng)基于鯤鵬 N 騰底座的人才生態(tài)建設(shè),加速國(guó)產(chǎn)化 AI 技術(shù)在高校科研與產(chǎn)業(yè)應(yīng)用中的落地。
N 騰 AI 全棧技術(shù):軟硬協(xié)同賦能大模型落地
N 騰產(chǎn)品線專家楊越洋在首日課程中,系統(tǒng)性地介紹了針對(duì)大模型訓(xùn)推場(chǎng)景的 N 騰 AI 基礎(chǔ)軟硬件解決方案。他提出大模型從預(yù)訓(xùn)練走向了預(yù)訓(xùn)練+后訓(xùn)練,推理部署從單機(jī)走向集群,創(chuàng)新迭代速度加快,其中 N 騰 AI 軟硬件技術(shù)提供全場(chǎng)景技術(shù)支撐。硬件層面,N 騰 Atlas 全系服務(wù)器支持高帶寬點(diǎn)對(duì)點(diǎn)通信、液冷一體化設(shè)計(jì)與盲插運(yùn)維,可覆蓋中心訓(xùn)練、邊緣推理及大規(guī)模專家并行(EP)部署場(chǎng)景,同時(shí)異構(gòu)計(jì)算架構(gòu) CANN 提供算子、通信等底層技術(shù);軟件層面,MindSpore 框架、MindSpeed 訓(xùn)練加速庫(kù)、MindIE 推理引擎及 MindStudio 全流程工具鏈,顯著提升模型開(kāi)發(fā)效率。楊越洋強(qiáng)調(diào),N 騰通過(guò)軟硬協(xié)同設(shè)計(jì),已為企業(yè)級(jí)大模型訓(xùn)練、微調(diào)及行業(yè)應(yīng)用提供了高性能、高可用的技術(shù)底座。
MindSpeed 加速庫(kù):突破大模型訓(xùn)練瓶頸
MindSpeed 研發(fā)專家劉哲續(xù)從算法、算力與數(shù)據(jù)三大維度剖析了大模型發(fā)展的趨勢(shì)與挑戰(zhàn),并強(qiáng)調(diào)加速套件是算力需求激增下的重點(diǎn)研究課題。期間他介紹了業(yè)界加速套件的現(xiàn)狀并重點(diǎn)解析了 MindSpeed 的技術(shù)架構(gòu):底層依托 N 騰 NPU 算力,通過(guò)通信優(yōu)化、內(nèi)存優(yōu)化(參數(shù)副本壓縮、激活重計(jì)算)、計(jì)算優(yōu)化(親和改寫(xiě),計(jì)算融合)、并行優(yōu)化(Swap、融合長(zhǎng)序列、NoopLayer 負(fù)載均衡)等技術(shù),實(shí)現(xiàn)訓(xùn)練效率躍升。最后介紹了 MindSpeed LLM、MM、RL 共三大套件。其中,LLM 針對(duì)大語(yǔ)言模型,支持多預(yù)制模型并提供全流程工具;MM 聚焦動(dòng)模態(tài)模型,模塊化組件,主打高性能與模塊化;RL 可支持強(qiáng)化學(xué)習(xí)部署,提供全流程強(qiáng)化學(xué)習(xí)能力。
國(guó)產(chǎn)化實(shí)踐:從模型對(duì)齊到多模態(tài)開(kāi)發(fā)
N 騰計(jì)算工程師雷珍珍和程麟勝,分享了 MindSpeed 在大模型領(lǐng)域成果。雷珍珍介紹,MindSpeed 基于 N 騰生態(tài)打造分布式訓(xùn)練框架,能對(duì)主流大模型高效訓(xùn)練與微調(diào)。她還解析模型開(kāi)發(fā)七大步驟,強(qiáng)調(diào)確保與開(kāi)源框架訓(xùn)練結(jié)果一致的關(guān)鍵要點(diǎn),并分享性能優(yōu)化策略。程麟勝提到,