7月3日，摩爾線程宣布，其 AI 旗艦產品夸娥（KUAE）智算集群解決方案從當前的千卡級別擴展至萬卡規(guī)模。

摩爾線程夸娥（KUAE）萬卡智算集群，以全功能GPU為底座，旨在打造國內領先的、能夠承載萬卡規(guī)模、具備萬P級浮點運算能力的國產通用加速計算平臺，專為萬億參數(shù)級別的復雜大模型訓練而設計。這一里程碑式的進展，樹立了國產GPU技術的新標桿，有助于實現(xiàn)國產智算集群計算能力的全新跨越，將為我國人工智能領域技術與應用創(chuàng)新、科研攻堅和產業(yè)升級提供堅實可靠的關鍵基礎設施。

夸娥萬卡智算解決方案具備多個核心特性：

▼  超大算力，萬卡萬P：在集群計算性能方面，全新一代夸娥智算集群實現(xiàn)單集群規(guī)模超萬卡，浮點運算能力達到10Exa-Flops，大幅提升單集群計算性能，能夠為萬億參數(shù)級別大模型訓練提供堅實算力基礎。同時，在GPU顯存和傳輸帶寬方面，夸娥萬卡集群達到PB級的超大顯存總容量、每秒PB級的超高速卡間互聯(lián)總帶寬和每秒PB級超高速節(jié)點互聯(lián)總帶寬，實現(xiàn)算力、顯存和帶寬的系統(tǒng)性協(xié)同優(yōu)化，全面提升集群計算性能。

▼超高穩(wěn)定，月級長穩(wěn)訓練：穩(wěn)定性是衡量超萬卡集群性能的關鍵。在集群穩(wěn)定性方面，摩爾線程夸娥萬卡集群平均無故障運行時間超過15天，最長可實現(xiàn)大模型穩(wěn)定訓練30天以上，周均訓練有效率在99%以上，遠超行業(yè)平均水平。這得益于摩爾線程自主研發(fā)的一系列可預測、可診斷的多級可靠機制，包括：軟硬件故障的自動定位與診斷預測實現(xiàn)分鐘級的故障定位，Checkpoint多級存儲機制實現(xiàn)內存秒級存儲和訓練任務分鐘級恢復以及高容錯高效能的萬卡集群管理平臺實現(xiàn)秒級納管分配與作業(yè)調度。

▼極致優(yōu)化，超高MFU：MFU是評估大模型訓練效率的通用指標，可以直接反應端到端的集群訓練效率?？涠鹑f卡集群在系統(tǒng)軟件、框架、算法等層面一系列優(yōu)化，實現(xiàn)大模型的高效率訓練，MFU最高可達到60%。其中，在系統(tǒng)軟件層面，基于極致的計算和通訊效率優(yōu)化等技術手段，大幅提升集群的執(zhí)行效率和性能表現(xiàn)。在框架和算法層面，夸娥萬卡集群支持多種自適應混合并行策略與高效顯存優(yōu)化等，可以根據(jù)應用負載選擇并自動配置最優(yōu)的并行策略，大幅提升訓練效率和顯存利用。同時，針對超長序列大模型，夸娥萬卡集群通過CP并行、RingAttention等優(yōu)化技術，有效縮減計算時間和顯存占用，大幅提升集群訓練效率。

▼全能通用，生態(tài)友好：夸娥萬卡集群是一個通用加速計算平臺，計算能力為通用場景設計，可加速LLM、MoE、多模態(tài)、Mamba等不同架構、不同模態(tài)的大模型。同時，基于高效易用的MUSA編程語言、完整兼容CUDA能力和自動化遷移工具Musify，加速新模型“Day0”級遷移，實現(xiàn)生態(tài)適配“Instant On”，助力客戶業(yè)務快速上線。

此外，摩爾線程聯(lián)合中國移動通信集團青海有限公司、中國聯(lián)通青海公司、北京德道信科集團、中國能源建設股份有限公司總承包公司、桂林華崛大數(shù)據(jù)科技有限公司（排名不分先后）分別就三個萬卡集群項目進行了戰(zhàn)略簽約，多方聚力共同構建好用的國產GPU集群。（來源：摩爾線程）