國產芯片15天左右可跑通大模型,高端算力仍需各方努力
“
大模型落地應用元年
2023,隨著ChatGPT的橫空出世,大模型迎來了前所未有的關注。2024,業內普遍認為,大模型將迎來落地應用熱潮。
近期,北京超級云計算中心運營實體北京北龍超級云計算有限責任公司CTO甄亞楠在接受紅星資本局等媒體專訪時談到了超算中心與智算中心轉換、大模型使用國產芯片的情況、大模型算力供給等問題。
他告訴紅星資本局,目前幫國產大模型“嫁接”國產芯片,只需15天左右就可以跑通。他認為算力共享會是行業大趨勢,高端GPU算力資源需要各方努力。
超算轉智算會是趨勢嗎?
一般來說,算力分為通用算力(基礎算力)、智能算力和超算算力三大板塊。
其中,基礎算力主要由基于CPU芯片的服務器提供,用于支持如云計算和邊緣計算等基礎通用計算。智能算力則由基于GPU、FPGA、ASIC等AI芯片的加速計算平臺提供,主要用于人工智能的訓練和推理計算。而超算算力則由超級計算機等高性能計算集群提供,主要用于尖端科學領域的計算。
各類算力中心在計算方式和擅長領域等方面各異,近幾年各地也在加快智算中心的建設。
“其實海外并未區分‘超算’‘智算’的概念,他們專門用來做計算的這類機器都叫做super computer(超級計算機)。”甄亞楠認為,智算中心在國內看起來利用率比較高,主要還是供需關系決定的。
“現在做大模型的企業比較多,大家都在‘搶時間’研發,迫切需要有更大量的算力資源,短時間之內高端GPU算力資源大家都是按月或者按年的方式去租賃。所以這個機器只要一上線,就有大量的客戶把這些資源拿走去用,這就看起來智算中心的利用率更高一些。”
甄亞楠表示,超算和智算解決的都是同一類問題,即計算密集型問題。“如何給用戶提供足夠量的資源池,如何提供穩定長時間的計算,如何能夠在計算過程中性能是高效的,不管對于超算還是智算,都屬于共性問題。”
甄亞楠認為,算力中心的建設就需要具有一定的“適度超前性”,因為要承載未來3~5年的使用訴求。為了應對空閑,北京超算采取的是“分批次”的按需建設模式。“比如需求旺盛的時候,增加建設幾百臺甚至幾千臺,當利用率飽和的時候,再進行有效的擴容。”此外,關于超算智算之間的轉換,他表示超算架構加上GPU卡就可以服務AI智算。
數據顯示,截至去年我國就有十余家超算中心,超30個城市提出或正在建設智算中心。
甄亞楠告訴紅星資本局,各個地方建設算力中心,北京超算也在積極關注,“如果地方建設了大型的算力中心,是不是能找到客戶、服務好客戶?是不是能把平臺高效運營起來實現經濟效益的轉化?這些是我們持續關注的點。”
甄亞楠還提到了另一個關注點,即未來算力產業。“本質上它受限于算法和算力芯片技術的快速迭代和更新。以英偉達來講,都會有非常明確的算力芯片發展規劃。未來高端芯片出來后,是不是低端芯片會逐步被替代掉,這也是一個值得探討的問題。”
國產芯片跑通大模型有障礙嗎?
近年來,我國人工智能算力芯片的市場格局主要由英偉達主導,其占據了80%以上的市場份額,一直保持著無可匹敵的競爭優勢。然而,隨著美國對高性能芯片出口限制措施不斷加強,國產AI芯片肩負起填補市場空缺的重要使命。
“我們也非常關注國產芯片的發展,據了解,國內自研的大模型,甚至一些開源的大模型都在不斷往國產芯片上去做移植。”
甄亞楠指出,現在從芯片使用角度來講,有些模型已經可以跑通運行了,需要追趕的方面主要在類似GPU這種高性能。
“整個的國產化是分層級的,芯片屬于硬件這一層,除此之外還有軟件的生態。對于國產的芯片來講,不管是框架還是生態,都需要有一定的培育周期。”甄亞楠呼吁,最終的應用方要給到國產芯片足夠的信心。他透露,目前北京超算有專門的團隊,在國產芯片各類指導文檔比較齊全的情況下,歷時15~20天,開展服務器基礎環境部署、性能測試到模型移植、性能優化、加速庫替換等工作,可以幫助客戶完成國產算力的模型移植與部署。”
甄亞楠坦言,從整個生態角度,需要硬件、軟件、模型企業共同努力。“本質上來講還是個非常復雜的系統性問題,國產芯片是可以‘跑起來’,解決‘可用’的問題,但剩下的性能問題,也就是達到‘好用’的程度,則需要大家共同努力。”
大模型算力供給是否存在困難?
紅星資本局注意到,從去年開始,就有專家學者指出,大模型時代,智能算力成為“稀缺資產”。如何善用算力資源,發揮其最大效益,已經成為每個參與者必須面對的挑戰。
甄亞楠認為,對于大模型需求多少算力,應用上有所區分。
比如,做基座大模型的企業,對算力資源的總量要求比較高,可能動輒就是5000卡,甚至萬卡的規模,甄亞楠表示,目前能夠拿出空閑5000卡左右的算力資源的智算中心在國內還是非常少的,所以基座大模型企業算力依然緊缺。特別是對于那些頂級的基座大模型研究企業,目前缺卡的情況依然存在。
另外一類是行業大模型或者垂類大模型,一般都是在基座大模型的基礎之上,利用自有數據做微調。甄亞楠指出,這種對算力總量需求相對來講比較小,國內有很多算力服務單位都可以滿足,這里存在的就是如何去優選服務的問題。
目前從大模型的算力供給量來講,是否還存在制約?甄亞楠認為長遠看,供需關系會發生變化,但當下,高端算力資源供貨周期不可控,導致其依然“難求”。
甄亞楠提到,算力中心的建設投入是最直接的“制約”,周期長,耗資巨大。另一方面,建設多大的算力資源池,與大模型企業的長期規劃更是有直接關系。
“我們必須和企業保持及時且長期的溝通,針對他們的業務發展走向,提前做布局。才能在規劃時間內儲備足夠的算力資源池。”
甄亞楠坦言,高端GPU算力資源需要各方努力。“一方面我們自己建,另一方面我們也和國內的運營商、地方政府在洽談,他們在建設算力方面有資金以及政策支持。算力共享在這個行業里會是大趨勢,需要各方共同去謀求算力上的合作。”