智東西

作者 中國AI算力大會

6月26日，一場干貨爆棚的AI算力盛會，在北京燦爛盛夏中熱烈召開。

以大模型、生成式AI為代表的新一輪人工智能浪潮的滾滾向前，催生出前所未有的AI算力需求，算力是數字經濟時代的新質生產力，更是人工智能發展的基石。

2025年，以DeepSeek為代表的國產大模型強勢突圍，在全球引爆部署熱潮和AI應用開發熱潮，也給國內AI算力市場注入新的活力，推動AI推理算力需求暴漲，超大規模集群鱗次櫛比，而需求的爆發也帶來諸多挑戰，醞釀新的行業變化。

為此，我們發起了一場聚焦前沿技術與產業趨勢的夏日AI聚會——2025中國AI算力大會。

從國產AI算力的突圍與崛起，到智算中心深層軟硬件技術創新解決算力落地產業難題，近30位重量級嘉賓與會帶來致辭、報告、演講和對話，全方位解構DeepSeek引爆的AI算力變局，全場金句頻頻，各路大佬觀點持續碰撞擦出火花，現場參會人數超過850人。

在會場外的展區，Alluxio、研惠通、惠普、白山云科技、中昊芯英、中科加禾、科華數據(41.670, -1.01, -2.37%)、行云集成電路等8家企業亮出了他們的最新技術和產品，展區人頭攢動，交流熱情氛圍濃厚。

▲展區

由智一科技旗下智猩猩與智東西共同發起主辦、芯東西協辦的首屆AI算力大會，圍繞AI算力產業變局與創新、AI推理算力、智算中心、智算集群異構混訓、超節點等話題設置議程，主會場包括高峰論壇、AI推理算力專題論壇和智算中心專題論壇；分會場為閉門制，組織了智算集群異構混訓技術研討會、超節點技術研討會。

▲聯想集團Game of AI科普視頻在大會展播：聯想海神全液冷解決方案，革命性提升AI推理時代算力

智一科技聯合創始人、CEO龔倫常在大會致辭環節宣布：中國AI算力大會正式成為“智領未來”北京人工智能系列品牌活動之一。

“智領未來”是北京市科委、中關村(5.510, 0.08, 1.47%)管委會打造的北京市人工智能領域的活動品牌。同樣作為“智領未來”北京人工智能系列品牌活動之一的中國生成式AI大會已于今年4月1日-2日圓滿舉行。

龔倫常還預告了將于下半年舉行的兩場大型品牌活動：9月在上海舉辦第七屆全球AI芯片峰會，11月在深圳舉辦2025中國具身智能機器人(16.950, -0.23, -1.34%)大會。

▲智一科技聯合創始人、CEO龔倫常

智算集群異構混訓、超節點兩場技術研討會在分會場圓滿舉辦。壁仞科技AI軟件首席架構師丁云帆、中國移動(112.560, 0.01, 0.01%)研究院網絡與IT技術研究所技術經理班有容、北京智源人工智能研究院AI框架研發負責人敖玉龍、上海人工智能實驗室編譯計算與國產化團隊負責人裴芝林、商湯大裝置技術產品總監劉葉楓在智算集群異構混訓技術研討會做了報告分享。

阿里云基礎設施異構硬件和系統及解決方案資深總監盧曉偉、中國移動研究院網絡與IT技術研究所技術經理王鵬、奇異摩爾首席網絡架構專家葉棟、曦智科技聯合創始人兼首席技術官孟懷宇圍繞超節點進行了不同視角的報告分享。中信建投(23.920, -0.13, -0.54%)證券科技行業首席分析師閻貴成主持了超節點技術研討會及圓桌Panel。

▲分會場

接下來我們將為大家帶來主會場三大論壇15+位分享嘉賓的演講和對話精華。

一、高峰論壇：從千芯節點到千億大模型，國產AI芯片生態迸發旺盛活力

AI已成為數據中心增長的核心驅動力(10.740, 0.04, 0.37%)。大模型迭代拉動算力需求暴增，推動計算、存儲、網絡基礎設施全面升級。在大模型訓練與部署需求旺盛的背景下，如何更充分地利用閑置算力，國產AI芯片發展到了怎樣的新階段，有哪些優化大模型推理效果的創新技術？6位嘉賓分享了他們對產業最新風向的觀察與探索。

1、信通院陳屹力：“算力荒”與“算力閑置”共存，算力互聯互通、AI云成焦點

中國信息通信研究院云大所副總工程師陳屹力談道，當下AI大規模應用促使智能算力需求激增，AI 云成為全球AI浪潮角逐的焦點。其中AI云基礎設施需覆蓋異構高效調度能力、一云多模能力、專家知識大腦等多方面。AI云平臺推動AI應用的智能、便捷構建，提升國際影響力、助力生態繁榮。

隨任務型智算應用興起，對算力資源的定位、調度、部署效率提出更高要求。中國信通院聯合產業各方探索構建算力互聯網，積極推進算力標識、算力調度、傳輸協議、應用適配等方面技術研究，加快現有算力“局域網”間互聯互通，逐步建立標準體系，形成算力互聯網體系架構，核心解決算力“找調用”挑戰，逐步形成具備智能感知、實時發現、隨需獲取的算力互聯網。

▲中國信息通信研究院云大所副總工程師陳屹力

2、摩爾線程王華：算力需求千倍增長，大集群和FP8成為強需求

摩爾線程副總裁王華引用了一些研究數據：2020至2025年間，大模型訓練的算力需求提升近1000倍 ，驅動力來自參數規模與數據量雙向增長。以DeepSeek-V3為例，其訓練所需算力達10²?級別，在萬卡集群上可將訓練時間壓縮至13天內完成 。

為應對算力需求，摩爾線程提供包括FP8在內的全精度算力，有效支持混合精度訓練，大幅提升訓練效率；部署萬卡集群，研發完整的軟硬件棧，提供開箱即用的產品，快速滿足大模型訓練的算力需求；打造豐富的集群監控和診斷能力，針對大規模集群實現分鐘級故障定位。

此外，摩爾線程構建了支持FP8、BF16、FP32等數據類型的混合精度訓練方案，開源Torch-MUSA、MT-MegatronLM與MT-TransformerEngine等大模型訓練組件，已完成DeepSeek-V3的混合精度訓練復現。在多個模型上的實驗結果表明，其方案整體性能提升可達20%–30%，訓練精度與業界主流保持一致。

▲摩爾線程副總裁王華

3、中昊芯英楊龔軼凡：解讀TPU架構創新設計，國產AI芯片如何抓住本土機遇

中昊芯英創始人、CEO楊龔軼凡談道，AI專用芯片是AI Infra的必然發展趨勢，TPU架構為AI大模型而生，采用多維度計算單元來優化數據復用，提高計算效率，并通過更激進的數據傳輸策略和更小的控制單元，給片上存儲器和運算單元留下更大空間，其可擴展性也更適合超大規模計算。

中昊芯英全自研高性能TPU架構AI芯片“剎那”于2023年已成功流片并實現量產，其計算性能較海外某知名GPU芯片提升近1.5倍。基于“剎那”的高性能AI服務器及大規模AI計算集群“泰則”，支持1024卡高速互聯，可支撐超千億參數大模型計算。

隨著大模型成本下移，AI芯片架構開始深度適配動態稀疏計算范式，形成“算法定義硬件”的新研發模式。降低對CUDA生態的依賴后，國產Al芯片將通過提供定制化工具鏈、優化編譯器等方式，在架構設計上更加靈活適應新的本土趨勢和需求。

▲中昊芯英創始人、CEO楊龔軼凡

4、魔形智能徐凌杰：大模型需要“千芯”超節點，未來架構有五大關鍵因素

魔形智能科技創始人、CEO徐凌杰幽默開場：“過去十年，中國最值錢的是房地產行業。未來最值錢的，可能還是房地產，只不過住的不是人，而是機器。”

研究數據顯示，全球數據中心總耗電量與單個發達國家相當。更強的大模型需要大集群，更快的大模型需要超節點，更大的高帶寬互聯域是超節點設計的核心。當前算力密度遠不夠高，要達到與人腦相當的算力密度，需要構建“千芯”超節點，構建可重構的AI算力中心。

如何構建千芯互連網絡？徐凌杰總結了未來超節點架構的5大關鍵因素：超高密度算力節點，千芯多機柜級聯背板連接，800V供電輸入，交換芯片全互聯，全覆蓋式冷卻。

他還分享了下一代算力基礎設施對芯片提出的3大要求：板級&封裝級靈活組合與解耦，整合光電共封裝設計，Cluster First的產品理念。軟硬協同將釋放超大集群的潛力。

▲魔形智能科技創始人、CEO徐凌杰

5、中科加禾崔慧敏：AI編譯優化躍升推理性能，有效擴展國產AI芯片生態

中國科學院計算技術研究所研究員、中科加禾創始人崔慧敏談道，大模型推理私有化部署需求大漲，但面臨硬件繁多、需求多元、多模部署等多重挑戰。

中科加禾圍繞編譯優化構建大模型推理的引擎和軟件棧，積累了大量實踐案例：在推理引擎中實施深度顯存優化，有效提高顯存利用率；在大規模推理中實現多維并行策略，有效利用計算、訪存、通信資源；基于多項聯合優化，推理技術在某互聯網廠商合作中將QPS提升50%以上，并在昇騰910B平臺私有化部署場景下有效支持128K長上下文。

長期來看，基于AI編譯技術，構建一套底層公共的編譯支撐，能夠長期有效解決AI生態碎片化及生態融合問題。

▲中國科學院計算技術研究所研究員、中科加禾創始人崔慧敏

6、趨境科技陳祥麟：千億大模型的異構推理新路徑

趨境科技技術負責人陳祥麟分享了大模型推理的技術創新。他認為大模型私有化推理架構將從傳統的以GPU為中心轉向全系統異構協同，需要充分提升算力利用率。

團隊首創全系統異構協同與以存換算技術，充分利用底層GPU、CPU、存儲等硬件設備算力，通過基于計算強度的offload策略、CPU/GPU的高性能算子改造、MTP等算力優化方法，以及prefix cache等融合推理策略，提升全系統算力，將大模型推理門檻降低至1/10。

趨境科技與清華KVCache.AI團隊共同開源的異構推理框架KTranformers，能夠利用單張消費級GPU+CPU異構推理DeepSeek-671B-r1/v3，decode速度最高達到20+ tokens/s。

同時參與月之暗面、清華MADSys實驗室等多個產學研機構開源的項目Mooncake，以超大規模KVCache緩存池為中心，通過以存換算的創新理念大幅度減少算力開銷，顯著提升了推理吞吐量。

▲趨境科技研發負責人陳祥麟

二、高端對話：國產AI算力的突圍與崛起，中美差距正逐步縮小

以《國產AI算力的突圍與崛起》為主題的高端對話，由智一科技聯合創始人、智車芯產媒矩陣總編輯張國仁主持，中昊芯英創始人兼CEO楊龔軼凡，魔形智能科技創始人、CEO徐凌杰，中科加禾聯合創始人兼CTO陳龍三位嘉賓進行分享。

張國仁談道，從2018年AI芯片峰會到如今AI算力峰會，他感觸最深的是國內企業對自己的產品、公司發展都表現得愈發云淡風輕。

▲智一科技聯合創始人、智車芯產媒矩陣總編輯張國仁

1、國產算力與全球差距仍然存在

面對國產算力在全球發展中的地位，陳龍談道，國內廠商已掌握算力底層技術，但在PyTorch等主流訓練框架適配方面仍處于跟隨、陪跑階段。

楊龔軼凡從硬件的設計和生產兩方面進行了比較：生產差距存在，但預測將在3-5年內逐步縮小；而在設計層面，從學術研究、論文創新性等角度看，設計的差距更大。隨著模型算法收斂，更多創新型架構、設計出現，國外諸多路線已發展到產品落地，國內廠商需要共同拓展生態。

▲中昊芯英創始人兼CEO楊龔軼凡

徐凌杰認為，在如何做優秀的GPU、如何搭建生態、如何做集群等方面，中美認知差距正不斷縮小。但實際產業中，差距進一步擴大，企業需要從底層供應鏈突破。

2、算力仍是資源導向型市場

對于國產算力的市場化，徐凌杰判斷，政府、資源導向型的現狀未來幾年不會有很大改變，芯片晶圓、制程以及芯片創企在國產生態中的成長，都需要政府扶持。芯片公司的機會是通過更強互聯、集群打造差異化，找到商業化落腳點。

楊龔軼凡同樣認為，資源導向型走向市場導向型是一個過程，在半導體行業，老的生產制程永遠比新的生產制程性價比低，生產制程每迭代一次會有4倍的性價比提升，這就導致純國產芯片的性價比更低，需要政府扶持拉通生產工藝的產業鏈。

陳龍從應用層面進行分析，談到國家的扶持很必要，企業通過軟硬件優化降低了部署成本，但消費側拉動還不夠強，現狀是上一代芯片尚沒有完全落地應用，下一代芯片已經出來了，因此核心是要發掘更有價值的應用。

▲中科加禾聯合創始人兼CTO陳龍

3、專用芯片、編譯技術、超節點，是未來發展方向

楊龔軼凡堅信專用芯片是未來的發展方向，在通用性需求大幅降低的情況下，可以拋棄部分通用性，增加芯片核心的性能和性價比。越專越好，是在滿足一定可控性和變化下的結果。

圍繞編譯技術在解決國產芯片面臨的風險，陳龍認為，它是將專家的經驗泛化、普適化的一種技術手段。編譯技術最開始產生是為了彌補人的思維和機器能接受信息之間的鴻溝，使開發效率提升上百倍。

徐凌杰著重談到超節點的發展方向，在大模型領域，類似MoE的創新結合超節點會有更大收益，即更大的問題用更大的集群解決，更大的集群反哺系統，從而做出更大的模型。

▲魔形智能科技創始人、CEO徐凌杰

4、算力產業格局未定

談到全球算力產業的產業格局，陳龍認為，雖然國內巨頭有積累優勢，但產業規模足夠大，且需求多元化，將來企業將百花齊放。

楊龔軼凡的觀點更為激進：首先，3-5年內形成產業格局的可能性不高，目前仍是企業相互競爭、高速發展變革的過程；其次，資源型市場的天然屬性決定了其很難形成壟斷，且巨頭穿越周期能力弱，因此AI產業爆發后市場格局會洗牌，初創公司或許會通過更好的組織形式去適應產業發展。

行業的重要性、資本周期發展對產業發展都會有影響。徐凌杰相信，算力變得越來越有吸引力，自然會有更多的錢涌入，會出現巨頭被沖擊、新生勢力冒出的場景。創企和巨頭需要找準自己的定位，通過“整合”變成更強實體可能是一條發展路徑。

如今中國算力規模已在全球排名第二，被預測有望影響全球AI 競賽格局。陳龍認為，AI算力市場規模和國家GDP發展成正比關系，當國家GDP反超或許是國產算力格局更進一步的機會。楊龔軼凡提到投入產出比，目前美國和中國算力開銷差10倍，當投入量逐步趕上才會有變化。徐凌杰認為未來當AI賦能千行百業，算力真正變成生產力時，就是一個巨大的機會。

三、專題論壇：從軟硬協同到端邊云協同，底層技術創新突破AI算力瓶頸

下午場火熱繼續，在AI推理算力專題論壇和智算中心專題論壇中，來自行云集成電路、安謀科技、實在智能、白山云科技、Alluxio、浩云長盛集團、上海矩向科技、趨動科技的8位嘉賓帶來了精彩演講。

如何突破大模型推理芯片的核心瓶頸、如何實現出色的端側模型性能？超大規模智算中心面臨的數據、成本功耗、算力利用率等方面的一系列難題要如何破解？我們都將找到答案。

1、行云余洪敏：只有軟硬件協同創新才能突破大模型推理芯片的核心瓶頸

行云聯合創始人、CTO余洪敏談道，高質量大模型最核心的需求就是極其變態的內存需求，既要帶寬，又要容量。推理芯片核心瓶頸有：顯存容量，價格高昂，只有通過軟硬件協同創新才能解決。

行云致力于把AI基礎設施從超算變成消費電子競爭，褐蟻是第一個十萬元級運行DeepSeek滿血671B、FP8非量化且對話速度在20TPS以上的解決方案，用數量級碾壓的競爭力讓全行業對AI超算祛魅。

近期行云將推出蟻群，實現500~1000有效并發下最高質量模型的流暢體驗，價格在300~400萬價位，接近DeepSeek公有云的性價比；此外，計劃在明年年底推出自研GPU芯片，相比褐蟻性能將有數倍提升，集群化后，相比蟻群可以數倍提高有效并發。

▲行云集成電路聯合創始人、CTO余洪敏

2、安謀科技鮑敏祺：NPU如何助力端側設備突破內存、算力、功耗三堵墻？

安謀科技產品總監鮑敏祺觀察到，端側設備正逐步承擔更多AI計算任務，端側AI模型在算法迭代、上下文長度擴展和模型理解力提升等方面進展迅速。

隨著模型的演進，端側AI硬件也面臨新的需求：一是算力需求持續增長，計算精度從INT向FLOAT轉變，需通過多核協同實現算力提升；二是大模型對帶寬要求更高，可通過提升數據本地化程度減少數據傳輸距離，從而優化能效比；三是需要優化硬件中向量計算與矩陣計算的配比。

為應對“內存墻”、“算力墻”和“功耗墻”三大挑戰，安謀科技正升級其自研“周易”NPU產品，如擴展數據類型支持、新增W4A16硬件加速和DSA加速功能、提供更為豐富的算子庫等，持續驅動終端算力躍遷，助力產業把握端側AI“芯”機遇。

▲安謀科技產品總監鮑敏祺

3、實在智能歐陽小剛：Agent端側性能超GPT-4o 10%，一體機30分鐘開箱部署

實在智能合伙人、核心算法負責人歐陽小剛提到，算力需求與場景落地的雙向倒逼，正推動智能體技術端側的探索革新。

其公司行業首發的通用智能體“實在Agent”，專注跨系統、鏈接各類軟件的辦公流程自動化。其自研的實在TARS大模型和TARS-VL大模型分別在垂域任務理解性能超越GPT-4o達10個百分點，GUI多模態理解能力領先3%，而通用能力幾乎無損；同時，該模型支持私有化部署，深度融合RPA與智能體工作流，實現瀏覽器、桌面應用、移動端的無縫操作，支持一鍵流程編輯和智能體共享，降低30%重復開發成本。

歐陽小剛提到與惠普聯合打造的Z系列數字員工一體機：基于HP Z8 Fury G5工作站，得益于四塊NVIDIA 5880 Ada的強大算力，開箱30分鐘完成部署，核心業務數據全程本地處理。

▲實在智能合伙人、核心算法負責人歐陽小剛

4、 白山云科技李金鋒：以邊緣計算破解AI推理時延與成本難題

白山云科技智算產品研發負責人李金鋒談到，AI推理面臨網絡時延與成本挑戰，對邊緣計算的需求日益增長。當前的云邊端架構依然適用：中心云集中計算，追求性能極致優化；邊緣云在靠近用戶處提供算力，作為重要補充，現可處理百億參數內大模型推理，顯著降低時延；終端算力則在保障數據隱私場景中發揮作用。

針對邊緣云節點分散帶來的算力管理難、任務調度復雜和單節點資源有限等挑戰，李金鋒介紹可通過全網任務調度、彈性算力調度、模型加載優化及單節點推理性能優化等方式解決。

依托覆蓋全球的1700多個具備計算、存儲、安全能力的數據節點及150多個海外運營商資源，白山云能輕松升級GPU算力，有力支撐邊緣推理服務。

▲白山云科技智算產品研發負責人李金鋒

5、Alluxio傅正佳：用去中心化架構方案，解決AI數據湖困境

Alluxio首席架構師傅正佳談道，AI 數據全鏈路各環節面臨的不同難題，以及環節間數據交互導致的資源浪費與效率低下，其本質都是數據湖困境的體現。

Alluxio介于分布式計算框架與存儲系統之間，可以做到對當前AI Infra“零改造無侵入”，并提升數據安全性，還可以統一納管數據孤島，提供高性能緩存層。Alluxio采用去中心化架構，支持100億以上對象，能夠降低數據工程復雜度與成本，提升模型迭代效率與數據方向速度。

Alluxio的核心技術包括協議轉換、數據緩存層以及虛擬數據湖等，可應用于智駕、機器學習訓練、智算、AI模型分發、科學計算等場景。基準測試顯示，其性能與全球頂尖并行系統持平，成本更低，GPU利用率可達95%及以上。

▲Alluxio首席架構師傅正佳

6、浩云長盛趙亮：智算時代數據中心變革，液冷、超高壓直流成大勢所趨

浩云長盛集團首席增長官（CGO）趙亮稱，隨著智算時代的到來，數據中心的算力密度不斷提升，同時，大模型推理和訓推一體的需求也在增長。

這些變化對數據中心的供電和制冷系統提出了巨大挑戰，設計和架構需要重大調整。如今，數據中心應配備更高的層高和更強的承重能力，以滿足密度的提升，隨之而來的散熱問題讓液冷成為必然選擇。在電力層面，能夠減少能源轉換損耗、提升電力運營效率的高壓直流技術正獲得廣泛采用。

此外，數據中心的選址也至關重要，需綜合考慮電力供應便利性、運維便利性、算力設備梯級利用和實際應用場景，而非簡單地將其布局在能源成本較低的地區，因此把訓推一體智算中心建設在一線城市周邊更有優勢。

▲浩云長盛集團首席增長官CGO趙亮

7、矩向科技黃朝波：模算云破局算力浪費，毛利躍升超10倍

上海矩向科技創始人兼CEO黃朝波指出，當前智算中心深陷無序建設、架構封閉、遠離業務場景三重困局，導致區域算力閑置、資源利用率不足。

傳統硬件堆砌模式已無法滿足AI爆發需求，唯有通過整合算力、模型與應用的模算云平臺重構價值鏈，將電力轉化為算力、模型力，并深加工為應用賦能能力，以此來實現算力服務毛利的躍遷。以3000P AI算力為例，服務毛利從智算中心的1億飆升至模算云的10多億，增幅超10倍。

模算云模式以輕資產實現高產出：政府可統籌閑置算力賦能中小企業，企業可通過開箱即用的MaaS服務降低AI門檻；技術上采用異構協同，國產芯片覆蓋80%計算量，英偉達GPU兜底剩余需求，同時結合云邊端協同，進一步降低推理成本，縮短業務落地周期。

▲上海矩向科技創始人兼CEO黃朝波

8、趨動科技張增金：通用行業GPU利用率不足30%，軟件定義AI算力成必然趨勢

趨動科技技術總監張增金指出，盡管生成式AI算力市場熱度高漲，但非生成式AI的規模仍是其兩倍，從運營層面來看，蘊藏著巨大的收入潛力（IDC 2025）。在國內眾多智算場景中，GPU平均利用率低至5%左右，主要原因在于異構資源分配方式粗放、調度機制缺失以及管理效率低下等問題。

采用軟件定義AI算力的模式，通過軟件對算力基礎設施進行重新構建，實現硬件資源的按需動態調用，能夠有效解決當前異構硬件利用率低、調度模式僵化等難題，避免因資源管理不善而引發的系統瓶頸。

張增金表示，未來，軟件定義將成為智算中心的關鍵發展方向。在一系列行業實踐中，趨動科技借助軟件定義技術，助力某客戶將整體GPU平均利用率從8%提升至35%，峰值平均利用率從15%躍升至60%。目前，趨動科技已與數百家家來自運營商、金融、能源電力、制造業等領域的客戶展開了深度合作。

▲趨動科技技術總監張增金

結語：中國AI算力蓬勃向前，技術創新加速涌現

在中美博弈的背景下，國產大模型們強勢突圍，帶動了國內AI算力需求的持續增長，算力需求發生結構性變化、推理算力需求增速遠超預期，中國AI算力產業不斷迎來新的機遇和挑戰，諸多優秀企業通過技術創新破解算力難題，加速AI的產業化落地。

站在技術與產業共振的歷史節點，我們每一個人，都正在見證和參與一場激動人心的技術躍遷。隨著Agent浪潮的涌起、端側智能的加速落地、具身智能的覺醒、產業AI加速賦能，AGI的曙光正離我們越來越近。

中國AI算力產業必將乘著這股勁流揚帆起航，駛向更廣闊的AI星辰大海。