阿里云基礎(chǔ)網(wǎng)絡(luò)技術(shù)5篇論文入選全球網(wǎng)絡(luò)頂會(huì)NSDI 2025

近日,在全球頂級(jí)網(wǎng)絡(luò)系統(tǒng)會(huì)議NSDI 2025上,阿里云基礎(chǔ)網(wǎng)絡(luò)技術(shù)5篇論文被主會(huì)錄用,論文研究成果涵蓋多個(gè)領(lǐng)域,包括面向大模型訓(xùn)練的網(wǎng)絡(luò)故障診斷、大模型訓(xùn)練網(wǎng)絡(luò)仿真、容器網(wǎng)絡(luò)性能問(wèn)題診斷、基于AI推理的CDN流控算法智能選擇,以及GPU解耦型推理場(chǎng)景的性能優(yōu)化等五個(gè)重要領(lǐng)域。多項(xiàng)突破性成果的集中入選,標(biāo)志著阿里云在人工智能時(shí)代的計(jì)算機(jī)網(wǎng)絡(luò)和系統(tǒng)領(lǐng)域持續(xù)引領(lǐng)前沿技術(shù)。

?? 1.png

NSDI是美國(guó)高等計(jì)算系統(tǒng)協(xié)會(huì) (USENIX協(xié)會(huì)) 舉辦的頂級(jí)學(xué)術(shù)會(huì)議,與ACM SIGCOMM并列為計(jì)算機(jī)網(wǎng)絡(luò)和系統(tǒng)研究領(lǐng)域最高水平的兩大會(huì)議,被中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)評(píng)為A類(lèi)推薦會(huì)議,Core Conference Ranking也給予其A級(jí)別評(píng)價(jià),代表了最前沿的科研水平和影響力。此次會(huì)議共收到666篇投稿,錄用83篇論文,錄取率不到12.5%,是NSDI歷史錄取率最低一次。

在此次入選的文章中,阿里云主創(chuàng)論文《Evolution of Aegis: Fault Diagnosis for AI Model Training Service in Production》總結(jié)了近一年多以來(lái)阿里云在支持大模型訓(xùn)練過(guò)程中的實(shí)踐與經(jīng)驗(yàn)。在研究中,阿里云網(wǎng)絡(luò)、靈駿、PAI等技術(shù)共同打造了端+網(wǎng)+任務(wù)協(xié)同的系統(tǒng)性智算網(wǎng)絡(luò)診斷體系,將網(wǎng)絡(luò)故障診斷耗時(shí)降低97%,順利支持通義千問(wèn)完成了多次模型版本的訓(xùn)練發(fā)布。

傳統(tǒng)的云計(jì)算診斷系統(tǒng)是針對(duì)通用計(jì)算場(chǎng)景設(shè)計(jì)的,在大模型場(chǎng)景下并不完全適用。由于大模型訓(xùn)練存在很多獨(dú)特的執(zhí)行特性,如大范圍的集合通信等,會(huì)導(dǎo)致諸多經(jīng)典診斷手段誤報(bào),無(wú)法精準(zhǔn)完成問(wèn)題定位。雖然頭部大模型公司有針對(duì)大模型訓(xùn)練場(chǎng)景專(zhuān)門(mén)設(shè)計(jì)的故障診斷系統(tǒng),但相對(duì)來(lái)說(shuō),方案對(duì)于提供公有云服務(wù)的解決方案來(lái)說(shuō)有所局限。

?2.png

因此,在論文研究中,Aegis選擇了一條增強(qiáng)已有體系+訓(xùn)練過(guò)程感知的兩階段演進(jìn)路線(xiàn)。在增強(qiáng)已有體系階段(Phase-1),Aegis將大量人工定位問(wèn)題的經(jīng)驗(yàn)進(jìn)行梳理總結(jié),形成了一套在線(xiàn)日志分析+定點(diǎn)隔離診斷的問(wèn)題定位體系,幫助降低了71%的任務(wù)中斷問(wèn)題定位耗時(shí)。在訓(xùn)練過(guò)程感知階段(Phase-2),Aegis找到了集合通信庫(kù)這一橋接計(jì)算過(guò)程和通信過(guò)程的通用組件,并進(jìn)行針對(duì)性的診斷能力增強(qiáng),實(shí)現(xiàn)了基于集合通信信息的全面在線(xiàn)的故障診斷,進(jìn)一步降低了91%的問(wèn)題定位耗時(shí)。

在診斷訓(xùn)練任務(wù)失敗這類(lèi)問(wèn)題之外,Aegis還進(jìn)一步覆蓋了性能回退場(chǎng)景的問(wèn)題定位以及交付前問(wèn)題的前置檢查。最終模型訓(xùn)練過(guò)程中的性能回退比例以及任務(wù)重啟次數(shù)都得到了大幅降低,全方位地為阿里云上的大模型訓(xùn)練任務(wù)的穩(wěn)定運(yùn)行保駕護(hù)航。

阿里云智能研發(fā)副總裁、基礎(chǔ)網(wǎng)絡(luò)負(fù)責(zé)人蔡德忠表示:“從智算網(wǎng)絡(luò)集群異常診斷到大模型訓(xùn)練仿真系統(tǒng),從CDN智能控制到云原生網(wǎng)絡(luò)創(chuàng)新,阿里云持續(xù)將產(chǎn)業(yè)級(jí)技術(shù)難題和學(xué)術(shù)創(chuàng)新融合,為AI大模型時(shí)代下云計(jì)算基礎(chǔ)設(shè)施發(fā)展做出貢獻(xiàn)?!?/p>

編輯:孫冰

頂部