NPU 跟 CPU 芯片有啥區(qū)別？NPU又要如何破局？
在生成式人工智能（AIGC）熱潮的催化下，澎湃旺盛的研發(fā)和應(yīng)用需求，令算力產(chǎn)業(yè)空前興奮，連帶著AI芯片產(chǎn)業(yè)也鉚足干勁，蓄勢(shì)待發(fā)。
作為構(gòu)筑AI芯片大廈的“磚瓦”，神經(jīng)網(wǎng)絡(luò)處理器（NPU）的設(shè)計(jì)會(huì)影響AI推理的性能、能效、靈活性、易擴(kuò)展性、安全性。智能計(jì)算的多元化場(chǎng)景，正在改變新一代NPU的設(shè)計(jì)理念。
CPU、GPU、NPU有何區(qū)別
CPU、GPU、NPU 三者之間一字之差，但是功能與作用卻是各不相同，這里主要說一說 CPU 和 NPU 之間的差別，咆哥這里簡(jiǎn)單的打個(gè)比方！
如果面前有一條河，在沒有橋梁的情況下，我們要如何渡過這條河呢？那么思考這個(gè)問題的就是 CPU 了，CPU 就是手機(jī)的大腦，調(diào)度手機(jī)里面的性能如何配置，這是一個(gè)腦力活。
如果前面有一條河，有橋可以渡河，有船可以渡河，有直升機(jī)可以渡河，還可以游泳渡河......，我們選擇哪一種方式渡河快還舒服呢？這就是 NPU 的工作了，它會(huì)在手機(jī)里面模擬一遍所有可行的方法，然后挑選出一個(gè)優(yōu)選方式。如果這種方式有 1 億種的話，那么 NPU 可能就要計(jì)算 1 億次，這是一個(gè)苦力活！
所以現(xiàn)在大家明白了，CPU 干的是腦力工作，就像公司的總經(jīng)理；NPU 是做程序式的工作，就像工廠流水線上面的工人。
ChatGPT帶飛異構(gòu)計(jì)算，如何影響終端NPU算力擴(kuò)展？
發(fā)展通用人工智能是計(jì)算機(jī)行業(yè)一直以來的偉大夢(mèng)想，而大模型與生成式AI取得的突破性進(jìn)展，正以日新月異的速度縮短現(xiàn)實(shí)與想象之間的距離，也正重新制定AI芯片的規(guī)則。
“在應(yīng)用層面，ChatGPT把數(shù)據(jù)處理的熱度推向一個(gè)高峰?！卑仓\科技執(zhí)行副總裁、產(chǎn)品研發(fā)負(fù)責(zé)人劉澍告訴智東西，ChatGPT的背后結(jié)合了知識(shí)圖譜、數(shù)據(jù)庫(kù)、數(shù)據(jù)收集和分析等一整套技術(shù)體系，開創(chuàng)了很多NPU在不同行業(yè)應(yīng)用的窗口和前景，并帶動(dòng)NPU、CPU、GPU等多種異構(gòu)算力的結(jié)合。
動(dòng)輒參數(shù)規(guī)模上億的AI模型大多訓(xùn)練和運(yùn)行于云上?？蒲腥藛T正在探索如何將它們放到性價(jià)比更高的終端硬件上。最近十幾天，國(guó)內(nèi)外研究人員已經(jīng)成功實(shí)現(xiàn)用單張消費(fèi)級(jí)顯卡、蘋果M1/M2芯片跑大型語言模型，展現(xiàn)了在性價(jià)比更高的終端硬件上運(yùn)行認(rèn)知智能的可能性。
近年來，智能汽車、AIoT等產(chǎn)業(yè)智能化進(jìn)程提速。一方面，智能汽車、邊緣計(jì)算、智能家居、移動(dòng)設(shè)備等對(duì)AI處理圖像分辨率的要求越來越高；另一方面，AI正與各行各業(yè)的典型應(yīng)用場(chǎng)景相融合，并逐步向傳統(tǒng)To B端產(chǎn)業(yè)滲透。
相比將所有計(jì)算放在云上，終端NPU處理能夠降低數(shù)據(jù)傳輸造成的延時(shí)，節(jié)省大量開銷。特別是對(duì)于視覺、語音等人機(jī)交互以及自動(dòng)駕駛等對(duì)實(shí)時(shí)處理要求嚴(yán)苛的應(yīng)用場(chǎng)景，終端NPU的發(fā)展是必然且必須的。
據(jù)劉澍觀察，為了適應(yīng)下游AI算法的發(fā)展，未來終端算力可能有兩個(gè)發(fā)展路徑：一是終端算力越來越強(qiáng)，終端算力的持續(xù)擴(kuò)展是未來趨勢(shì)，但會(huì)受限于成本和功耗；二是不斷為終端裁剪網(wǎng)絡(luò)，這是安謀科技長(zhǎng)期在做的嘗試，通過量化剪裁等措施將模型變得更小。
兩者相互并進(jìn)，通過將云端的算法模型優(yōu)化到位，實(shí)現(xiàn)其在擁有更高算力的終端的部署。
多核心、大算力、多精度，助力AI多場(chǎng)景落地
隨著摩爾定律放緩，通用處理器架構(gòu)難以滿足人工智能的密集型計(jì)算需求。數(shù)據(jù)顯示，2000-2004年，每一美元能獲取的芯片性能以每年48%的速度提升，而2008年以后已不足10%。在這種趨勢(shì)下，專用芯片成為面向特定需求提升算力和能效比的新思路。
其中，NPU是面向機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的專用加速芯片。相比CPU、GPU等通用芯片，NPU在電路層模擬了人類神經(jīng)元和突觸，針對(duì)AI計(jì)算涉及的大量神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特殊優(yōu)化，能夠以更高的效率、更低的能耗處理人工神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)模型。
如今，蘋果、三星、oppo等多家手機(jī)廠商搭載了NPU，用于面部識(shí)別、拍攝物體及環(huán)境識(shí)別、影像處理等，為消費(fèi)者帶來3D動(dòng)畫表情、人臉解鎖、AI場(chǎng)景識(shí)別、無損實(shí)時(shí)RAW計(jì)算等一系列新體驗(yàn)。隨著人工智能向平板電腦、臺(tái)式機(jī)等更多終端，家居、汽車等更多領(lǐng)域滲透，“萬物智聯(lián)”時(shí)代拉開序幕，這不僅考驗(yàn)著NPU的算力和精度，也對(duì)NPU架構(gòu)的靈活性和兼容性提出了更高的要求。
結(jié)語：本土創(chuàng)新+生態(tài)構(gòu)建，撬動(dòng)芯片設(shè)計(jì)“大局”
生成式AI的火爆出圈，正激發(fā)新一輪AI研發(fā)與商用熱潮。各類硬件終端智能化滲透率不斷提升，對(duì)作為底層算力基礎(chǔ)設(shè)施“大腦”的AI芯片提出了更高的要求。
快速迭代的AI算法、日趨廣泛的應(yīng)用場(chǎng)景，既離不開高性能NPU來提供更強(qiáng)算力支撐，也離不開易用的軟件平臺(tái)來加快芯片產(chǎn)品的部署和落地流程。
