人工智能發(fā)展的下一個(gè)階段是什么？
答案是商業(yè)化落地，市場(chǎng)給出了端側(cè)AI與垂直行業(yè)大模型兩條路，其中前者更為行業(yè)所看重，不僅市場(chǎng)更加廣闊，而且普羅大眾也將更具體感。
2024年，各類搭載了AI大模型的終端產(chǎn)品幾乎無(wú)處不在，如AI手機(jī)、AI PC、AI眼鏡、AI家居等，包括谷歌、META、Apple、華為、字節(jié)跳動(dòng)、OPPO等科技巨頭都在竭力開發(fā)更具市場(chǎng)競(jìng)爭(zhēng)力和吸引力的AI終端產(chǎn)品，唯恐在這場(chǎng)AI下半場(chǎng)的競(jìng)爭(zhēng)中落后一步。
于是乎，2024年乃“端側(cè)AI元年”成為行業(yè)共識(shí)。
圖源 |pixabay.com
01
為什么是端側(cè)AI？
當(dāng)前我們所熟知的ChatGPT、文心一言、通義千問及Kimi等語(yǔ)言大模型皆屬于云端AI范疇。一般而言，云端AI從終端采集信息，再將信息通過(guò)網(wǎng)絡(luò)傳輸?shù)皆浦行膫?cè)進(jìn)行后續(xù)處理，過(guò)程當(dāng)中很難避免個(gè)人信息泄露。在這個(gè)信息時(shí)代，大眾對(duì)于數(shù)據(jù)隱私、安全的重視程度愈發(fā)提高，從這方面看，AI發(fā)展從云到端也是必然趨勢(shì)。
除安全及隱私保護(hù)之外，大模型在終端運(yùn)行時(shí)有以下幾個(gè)優(yōu)點(diǎn)，其一是可以在本地實(shí)現(xiàn)離線的數(shù)據(jù)推理，無(wú)需網(wǎng)絡(luò)交互，非常適合對(duì)實(shí)時(shí)性要求非常高的智能機(jī)器人、智能汽車等終端；其二是AI PC、AI手機(jī)中很多私人信息不大適合上傳至云端，當(dāng)數(shù)據(jù)可以在本地處理時(shí)，大模型可以結(jié)合私人數(shù)據(jù)，為用戶提供更好的個(gè)性化服務(wù)。
IDC預(yù)測(cè)，2024年中國(guó)終端設(shè)備市場(chǎng)中，將有超過(guò)半數(shù)的設(shè)備在硬件層面具備針對(duì)AI計(jì)算任務(wù)的算力基礎(chǔ)，至2027年，這一比例將進(jìn)一步攀升至接近80%的水平，并進(jìn)入平穩(wěn)提升階段。摩根士丹利在5月14日發(fā)布的研報(bào)中指出，2025年-2026年，AI PC的滲透率將從2024年的8%增至50%。
不過(guò)，將大模型從云端移至端側(cè)并沒有那么容易，中間有許多難題需要解決。當(dāng)前的大語(yǔ)言模型內(nèi)置參數(shù)多達(dá)百億千億，若要將其放置于算力相對(duì)有限的PC、智能手機(jī)或其他終端運(yùn)行，端側(cè)的算力、內(nèi)存容量、內(nèi)存寬度及功耗都需要納入考慮范圍之內(nèi)。如何才能使得大模型在完整運(yùn)行時(shí)，在功能方面不會(huì)有太大折扣？這是目前端側(cè)AI產(chǎn)業(yè)鏈需要一同解決的問題。
對(duì)于如何解決端側(cè)AI在發(fā)展中存在挑戰(zhàn)，此芯科技聯(lián)合創(chuàng)始人、軟件工程副總裁劉剛認(rèn)為產(chǎn)業(yè)生態(tài)合作非常重要，他表示，“AI技術(shù)發(fā)展日新月異，業(yè)界的關(guān)注正日益集中于推理技術(shù)的發(fā)展與應(yīng)用。隨著訓(xùn)練成本的不斷攀升，投資者和用戶越來(lái)越關(guān)注如何將AI算力有效落地并應(yīng)用于特定垂直行業(yè)。如何實(shí)現(xiàn)端側(cè)AI算力的高效利用，需要集上下游之力進(jìn)行系統(tǒng)級(jí)優(yōu)化，這已成為行業(yè)發(fā)展的下一個(gè)關(guān)鍵點(diǎn)�！�
系統(tǒng)級(jí)優(yōu)化需要從三個(gè)方面著手，第一層是對(duì)于芯片等硬件的優(yōu)化；第二層是對(duì)于算法與數(shù)據(jù)的優(yōu)化，讓語(yǔ)言大模型在性能基本不打折扣的情況下，參數(shù)規(guī)模越來(lái)越小；第三層是聚焦語(yǔ)言大模型之間的協(xié)同，大模型通過(guò)微調(diào)優(yōu)化，可以具備長(zhǎng)距離多步推理能力（Reasoning），能以極高的效率解決特定領(lǐng)域的復(fù)雜問題。
02
大模型與算力的雙向奔赴
在近期舉行的此芯科技2024生態(tài)大會(huì)上，安謀科技市場(chǎng)與生態(tài)副總裁梁泉分享了一個(gè)有趣的現(xiàn)象大模型與算力的雙向奔赴。
當(dāng)前，語(yǔ)言大模型的發(fā)展呈現(xiàn)兩極分化的形式。一方面，云端的大模型內(nèi)置參數(shù)從百億、千億乃至數(shù)千億的規(guī)模，其發(fā)展在不斷提升語(yǔ)言大模型的天花板；另一方面，還有很多基于云端AI的創(chuàng)新，越來(lái)越多的小模型被發(fā)布和下載。而端側(cè)AI的發(fā)展，自然更加偏向于“更小更精”。
算力方面，主流AI芯片原本有CPU、GPU，如今多了更面向AI的計(jì)算器件NPU。而且，這兩年AI芯片算力也得到長(zhǎng)足進(jìn)步，端側(cè)的算力從以往的510TOPS慢慢集成提升至40TOPS的范疇，未來(lái)還會(huì)更高。
端側(cè)AI能力是實(shí)現(xiàn)生成式AI全球規(guī)模化擴(kuò)展的關(guān)鍵，端側(cè)AI快速發(fā)展倒逼端側(cè)硬件性能升級(jí)。在此背景下，高通、蘋果等各大芯片龍頭爭(zhēng)先推出能夠在端側(cè)運(yùn)行生成式AI模型的處理器芯片。值得注意的是，高端芯片市場(chǎng)向來(lái)幾乎由歐美科技大廠占據(jù)，英特爾、AMD盤踞CPU市場(chǎng)，英偉達(dá)獨(dú)霸GPU領(lǐng)域，而手機(jī)SoC市占率大多由高通、蘋果等把控。端側(cè)AI芯片市場(chǎng)能否跑出一家足以與上述芯片巨頭掰手腕的中國(guó)企業(yè)？
瞄準(zhǔn)這一市場(chǎng)空白，此芯科技決定搏一搏。此前，此芯科技創(chuàng)始人、CEO孫文劍曾坦言，“2021 年此芯科技創(chuàng)立，面臨諸多關(guān)鍵抉擇。團(tuán)隊(duì)果斷選用潛力巨大、能效出眾的 Arm 架構(gòu)作為 CPU 底層核心，又選定端側(cè)賽道，發(fā)力 AI PC、智能汽車與空間計(jì)算的底層芯片及算力方案。畢竟，人工智能是產(chǎn)業(yè)發(fā)展的主線，既是機(jī)遇，也是方向。”
此芯科技創(chuàng)始人、CEO 孫文劍
經(jīng)過(guò)數(shù)年的努力，2024年7月底，此芯科技正式發(fā)布了“此芯P1”芯片，該產(chǎn)品是一個(gè)高能效異構(gòu)處理器，芯片采用先進(jìn)的 Arm V9 架構(gòu)。異構(gòu)計(jì)算與混合AI的方式，可以更充分地利用端側(cè)算力，已經(jīng)成為業(yè)內(nèi)公認(rèn)的最優(yōu)解。
性能方面，“此芯P1”CPU部分通過(guò)多核設(shè)計(jì)，具備高效的通用計(jì)算能力；其GPU滿足極致桌面渲染和通用AI計(jì)算需求，在處理視頻、游戲等工作時(shí)有著優(yōu)異的表現(xiàn)；NPU采用的是安謀科技自研的“周易”NPU，算力達(dá)30TOPS，在進(jìn)行AI推理運(yùn)算時(shí)，提供強(qiáng)大的算力支持。強(qiáng)大的異構(gòu)AI引擎，提供45TOPS端側(cè)AI異構(gòu)算力，支持100億參數(shù)以內(nèi)端側(cè)大模型部署。此外，“此芯P1”的訪存子系統(tǒng)配置128-bit LPDDR5低功耗內(nèi)存，容量可達(dá)64GB，數(shù)據(jù)傳輸率可達(dá)6400Mbps、帶寬可達(dá)100GB/s。
合理的算力、內(nèi)存、帶寬搭配，使得“此芯P1”不僅擁有出色賬面算力，在終端上運(yùn)行時(shí)，對(duì)于數(shù)據(jù)的讀寫、處理也非常的流暢，不會(huì)因數(shù)據(jù)過(guò)大或過(guò)于復(fù)雜而出現(xiàn)遲滯的情況。也正因此，“此芯P1”可以覆蓋智能汽車、一體機(jī)、臺(tái)式機(jī)、家庭娛樂主機(jī)、企業(yè)邊緣側(cè)主機(jī)等多種產(chǎn)品形態(tài)，完美展現(xiàn)“一芯多用”特色。
03
貫通產(chǎn)業(yè)鏈，共創(chuàng)商業(yè)價(jià)值
想要在高通、蘋果、聯(lián)發(fā)科等芯片巨頭的競(jìng)爭(zhēng)中食得一杯羹，僅僅憑借硬件的出色表現(xiàn)還不夠。對(duì)于芯片企業(yè)來(lái)說(shuō)，硬件是公司的核心競(jìng)爭(zhēng)力，而軟件是硬件能力釋放的關(guān)鍵，生態(tài)則是公司長(zhǎng)期發(fā)展的護(hù)城河，能夠幫助公司建立市場(chǎng)主導(dǎo)地位。
一群行業(yè)老兵所創(chuàng)立的此芯科技自然知道軟件與生態(tài)的重要性。如今，此芯科技所秉持生態(tài)理念便是開放的態(tài)度，貫通產(chǎn)業(yè)鏈，共創(chuàng)商業(yè)價(jià)值。
以開放求進(jìn)步，以開放促合作，以開放取成功。在開放這條道路上，此芯科技是怎么做的？首先，在指令集架構(gòu)層面，此芯科技選擇了更為開放、生態(tài)更加完善的Arm。此芯科技創(chuàng)始人、CEO孫文劍在此芯科技2024生態(tài)大會(huì)上宣布，“未來(lái)，團(tuán)隊(duì)會(huì)向合作伙伴和方案商開放自己的參考設(shè)計(jì)，會(huì)把我們的BSP代碼逐步的開源并且向上游、下游提供支持，同時(shí)會(huì)開放GPU SDK、AI SDK，而且在AI的部署上會(huì)開放AI model hub。”
在軟件層面，此芯科技推出了此芯NeuralOne AI軟件棧，用以針對(duì)CPU、GPU、NPU等不同硬件處理單元協(xié)同調(diào)用，并支持異構(gòu)AI加速，可滿足不同場(chǎng)景下的性能和功耗需求。此芯科技自主設(shè)計(jì)了此芯GO圖形引擎，通過(guò)引入應(yīng)用兼容層并在核心驅(qū)動(dòng)層實(shí)現(xiàn)原創(chuàng)優(yōu)化，適配多種主流桌面環(huán)境、兼容傳統(tǒng)應(yīng)用、支持OpenGL標(biāo)準(zhǔn)以及和不同多媒體框架協(xié)同等。
在產(chǎn)業(yè)鏈生態(tài)合作方面，此芯科技也在不斷加強(qiáng)聯(lián)系。目前，此芯科技已經(jīng)完成openKylin2.0和deepin 23兼容性認(rèn)證。同時(shí)，此芯科技還與神州網(wǎng)信深入合作，積極推進(jìn)基于Windows11的CMGE Arm POC，探索Arm硬件平臺(tái)與windows生態(tài)的兼容解決方案。對(duì)于下游的大模型應(yīng)用，此芯科技同樣在加強(qiáng)適配工作。自7月底此芯P1發(fā)布以來(lái)，此芯科技已經(jīng)完成了上百個(gè)端側(cè)AI模型的適配，包括傳統(tǒng)的CV、NLP&Audio模型以及最新的生成式AI模型。在大語(yǔ)言模型方面支持主流的Llama系列、千問系列、GLM系列、MiniCPM系列等等多種大模型，后續(xù)還將與面壁智能等企業(yè)進(jìn)一步推進(jìn)相關(guān)合作。
“獨(dú)行快、眾行遠(yuǎn)�！贝诵究萍疾⒎侵粚⒁曇熬窒拊诠镜陌l(fā)展，也積極參與到端側(cè)AI的發(fā)展與共建當(dāng)中，與產(chǎn)業(yè)鏈合作伙伴一同共創(chuàng)商業(yè)價(jià)值，推動(dòng)端側(cè)AI產(chǎn)業(yè)的繁榮。
硬件層面，此芯科技洞察到市場(chǎng)對(duì)于生成式AI開發(fā)板的需求，與安謀科技、瑞莎計(jì)算機(jī)聯(lián)合打造了全球首款A(yù)rmv9開源主板--瑞莎星睿O6。開發(fā)套件搭載了“此芯P1”高能效Armv9處理器，可以基于異構(gòu)算力支持主流端側(cè)生成式AI大模型和傳統(tǒng)CNN模型。在算力方面，其擁有12核CPU、桌面級(jí)GPU和30TOPS NPU，接口豐富、性能強(qiáng),異構(gòu)綜合算力達(dá)45TOPS，滿足AI PC算力需求。在硬件架構(gòu)方面，瑞莎星睿O6既是一款MiniATX標(biāo)準(zhǔn)的主板，也是一款基于Arm架構(gòu)的單板計(jì)算機(jī)。
在行業(yè)技術(shù)規(guī)范及平臺(tái)方面，此芯科技與Arm及國(guó)內(nèi)廠商一起探討基于Arm SystemReady以及PC BSA規(guī)范的支持，這將大大減少合作伙伴相關(guān)的重復(fù)開發(fā)工作量，加快AI PC產(chǎn)品的落地。此芯科技作為芯片設(shè)計(jì)企業(yè)的重要代表，還加入了由安謀科技牽頭發(fā)起的多方聯(lián)合共建的端側(cè)AI合作平臺(tái)“AIPC和EdgeAI聯(lián)合實(shí)驗(yàn)室”，旨在推動(dòng)本土的AI生態(tài)建設(shè)、社區(qū)發(fā)展和技術(shù)運(yùn)營(yíng)，進(jìn)而給端側(cè)AI的落地添磚加瓦。
04
結(jié)語(yǔ)
或許，對(duì)于許多人而言，端側(cè)AI還遠(yuǎn)，換句話說(shuō)即當(dāng)前的端側(cè)AI還不夠智能，無(wú)法打動(dòng)消費(fèi)者。但任何新事物的發(fā)展都需要時(shí)間的沉淀，在這個(gè)過(guò)程中不斷迭代進(jìn)化。
以智能手機(jī)為例，2007年，Apple推出了iPhone，當(dāng)時(shí)喬布斯在發(fā)布會(huì)上說(shuō)，“今天我們重新發(fā)明了電話。”但直到2010年iPhone 4被推出時(shí)，iPhone才真正開始風(fēng)靡全球。這中間的三年，是iPhone被重新定義所需要的時(shí)間。
2024年，被業(yè)內(nèi)稱為“端側(cè)AI元年”，盡管普羅大眾對(duì)于這個(gè)說(shuō)法并不關(guān)心，但這不妨礙端側(cè)AI將成為未來(lái)智能化世界中不可或缺的存在。只不過(guò)，端側(cè)AI也如同iPhone那般，需要“被重新定義的那三年”，在這個(gè)過(guò)程當(dāng)中，此芯科技作為行業(yè)構(gòu)成的一份子，在竭力賦能行業(yè)發(fā)展的同時(shí)，也將不斷壯大自身，打造智能世界 2.0新范式。
