?昇思MindSpore 2.3發(fā)布:支持大模型開發(fā)訓(xùn)推更簡、更穩(wěn)、更高效


中國經(jīng)濟周刊-經(jīng)濟網(wǎng)訊 人工智能框架作為軟件根技術(shù),已成為加速人工智能大模型開發(fā)、推動產(chǎn)業(yè)智能化發(fā)展的核心力量。3月22日,以“為智而昇,思創(chuàng)之源”為主題的昇思人工智能框架峰會2024在京舉行,旨在匯聚AI產(chǎn)業(yè)界創(chuàng)新力量,推動根技術(shù)持續(xù)創(chuàng)新,共建人工智能開源新生態(tài)。

昇思MindSpore作為國內(nèi)主流開源框架,打造充滿活力的開發(fā)者社區(qū),致力于推動中國人工智能產(chǎn)業(yè)的進步。近兩年包括昇思MindSpore在內(nèi)的開源框架產(chǎn)品不斷發(fā)展,IDC的研究顯示,昇思MindSpore在生態(tài)建設(shè)方面取得優(yōu)異成績。

中國工程院院士、中國人工智能學(xué)會副理事長何友表示:中國人工智能學(xué)會與昇思MindSpore緊密合作,攜手鵬城實驗室、昇思MindSpore開展學(xué)術(shù)基金2.0項目,加速推動基于昇思的原生學(xué)術(shù)創(chuàng)新及論文成果發(fā)表,發(fā)揮學(xué)術(shù)人才的原生力,結(jié)合昇思的技術(shù)原創(chuàng)力,以學(xué)術(shù)創(chuàng)新支撐人工智能產(chǎn)業(yè)繁榮。

華為ICT Marketing總裁周軍表示:AI框架的并行計算能力、簡潔編程能力、便捷部署能力等,逐漸成為大模型訓(xùn)練的關(guān)鍵成功要素。昇思將持續(xù)創(chuàng)新探索,聚焦根技術(shù),以更開放的技術(shù)體系,讓伙伴和開發(fā)者更靈活的實現(xiàn)大模型創(chuàng)新,加速大模型應(yīng)用規(guī)模落地。

據(jù)悉,華為于2020年3月開源昇思MindSpore AI框架,開源后獲得國內(nèi)外開發(fā)者的積極響應(yīng),訪問量數(shù)千萬,超過687萬下載安裝使用,在碼云千萬開源項目中綜合排名第一,服務(wù)企業(yè)數(shù)量超過5500家,合作高校360所。2023年以來,基于昇思框架發(fā)表的頂級會議論文數(shù)量超過1200篇,在所有AI框架中排名中國第一、全球第二,已成為國內(nèi)最具創(chuàng)新活力的AI開源社區(qū)。

中國科學(xué)院院士、中國空氣動力學(xué)會理事長唐志共表示:基于昇思MindSpore,生成式氣動設(shè)計大模型平臺打破傳統(tǒng)設(shè)計范式,設(shè)計時長由月級縮短到分鐘級,滿足概念設(shè)計要求。未來該平臺將擴展到航空、航天、船舶、高鐵、能源、汽車等多個行業(yè)領(lǐng)域,引領(lǐng)工業(yè)裝備的設(shè)計和制造能力跨越式發(fā)展。

同日,昇思MindSpore 2.3全新發(fā)布,將支持大模型開發(fā)訓(xùn)推更簡、更穩(wěn)、更高效。

據(jù)介紹,昇思MindSpore積極探索前沿技術(shù),支撐大模型原生高效訓(xùn)練。通過原創(chuàng)的多副本、多流水交織等8種并行技術(shù),使集群線性度達到90%(業(yè)界不足60%),通過整圖優(yōu)化及下沉執(zhí)行等,使得算力利用率達到55%(業(yè)界不足40%);針對集群故障率高,恢復(fù)時間長的普遍問題,通過編譯快照,確定性CKPT技術(shù)實現(xiàn)20分鐘完成故障恢復(fù)。

在大模型部署上,昇思通過訓(xùn)推一體的架構(gòu)升級實現(xiàn)腳本、分布式策略,運行時的統(tǒng)一,Baichuan2-13B的推理部署只需1天。在大模型推理上,通過LLMServing實現(xiàn)推理吞吐提升2倍多;升級模型壓縮工具金箍棒2.0實現(xiàn)千億大模型壓縮至十倍。

為降低開發(fā)門檻,昇思持續(xù)升級MindSpore TransFormers大模型套件,并提供MindSpore One生成式套件,全流程開箱即用,一周即可完成大模型全流程的開發(fā)。

創(chuàng)新AI+科學(xué)計算范式,孵化科學(xué)領(lǐng)域基礎(chǔ)大模型。MindSpore已在AI生物計算探索多年,聯(lián)合頂級科研機構(gòu)和伙伴打造了AI生物計算套件,包含蛋白質(zhì)結(jié)構(gòu)預(yù)測、生成等20多個SOTA模型,加速相關(guān)領(lǐng)域創(chuàng)新。

面向長遠規(guī)劃,昇思MindSpore將深耕根技術(shù),持續(xù)演進,助力大模型產(chǎn)業(yè)落地。

此外,昇思MindSpore開源社區(qū)理事長丁誠在大會上公布了昇思賦能學(xué)術(shù)與生態(tài)的四項行動。昇思和中國人工智能學(xué)會、鵬城實驗室合作的學(xué)術(shù)論文基金2.0,將在未來3年內(nèi)攜手50多家全球AI學(xué)者,探索學(xué)術(shù)新高峰,實現(xiàn)數(shù)量質(zhì)量雙提升;昇思開發(fā)板應(yīng)用創(chuàng)新行動,基于香橙派開發(fā)板,提供系統(tǒng)化的案例、教程與支持,幫助開發(fā)者快速上手、快速入門、快速打造個性化應(yīng)用;昇思加速原生大模型孵化,通過激勵、專項技術(shù)支持和市場聯(lián)合推廣,支持更多伙伴從昇思遷移適配走向原生開發(fā);昇思開源社區(qū)實習活動,通過代碼實踐,讓開發(fā)者真正的實踐成長。

編輯:孫冰

頂部