0
| 本文作者： 王金旺 | 2018-09-26 12:36 |
在人工智能領(lǐng)域，或者說深度學(xué)習(xí)領(lǐng)域，寒武紀(jì)成為我國(guó)一大利器已然人盡皆知，但是大家知道最多的仍只是華為用到了寒武紀(jì)的IP。而具體寒武紀(jì)的發(fā)展歷路，解決了AI處理器的哪些問題，仍是被輕描淡寫地草草略去，鮮有問津。
9月22日，在北京的CCF YOCSEF TDS專題探索班上，寒武紀(jì)研究院院長(zhǎng)杜子?xùn)|以《深度學(xué)習(xí)處理器》為主題，就寒武紀(jì)在學(xué)術(shù)領(lǐng)域的研究、解決的問題，就寒武紀(jì)幾代人打下的“江山”進(jìn)行了分享解讀。
2007年，以深度學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)為核心的AI浪潮再次興起。而人工神經(jīng)網(wǎng)絡(luò)的提出其實(shí)可以追溯到1956年達(dá)特茅斯會(huì)議，在該會(huì)議上，與會(huì)專家提出了人工智能的概念。隨之而來的則是人工神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)模仿人類大腦，通過神經(jīng)元傳輸信息。
生物神經(jīng)元和人工神經(jīng)元仍有一定區(qū)別。生物神經(jīng)元很復(fù)雜，在人腦中有860億個(gè)神經(jīng)元，根據(jù)生物學(xué)家的估算，每個(gè)神經(jīng)元中有1000個(gè)突觸，也就是說每個(gè)神經(jīng)元會(huì)和其他1000個(gè)神經(jīng)元連接，對(duì)于這樣一個(gè)龐大規(guī)模的大腦組織，具體到每一個(gè)神經(jīng)元上，不僅有這樣的連接，還有很多化學(xué)現(xiàn)象和生理現(xiàn)象。
對(duì)于這樣復(fù)雜的神經(jīng)元，研究人員之前做的工作是將其簡(jiǎn)化成簡(jiǎn)單的抽象模型。簡(jiǎn)化后的模型主要包含兩部分：輸入和權(quán)值。
如果是輸入向量和權(quán)值向量的話，實(shí)際上就是進(jìn)行內(nèi)積，然后構(gòu)建激活函數(shù)，在非線性激活函數(shù)引入后，其在非線性分類問題上會(huì)有一定的這種效果。
單個(gè)神經(jīng)元有兩個(gè)輸入，它可以用來處理二分類問題，典型例子是在二維平面中尋找最優(yōu)分割面。通過不同的輸入樣本對(duì)模型進(jìn)行訓(xùn)練，不停地修正找到的分割面。如果將多個(gè)神經(jīng)元組合起來，能夠完成一些更復(fù)雜的任務(wù)。例如可以完成多分類，甚至加入一些其他復(fù)雜的處理，從而實(shí)現(xiàn)諸如圖像識(shí)別的任務(wù)。
與此同時(shí)，高算力也成為剛需。
在圖像識(shí)別方面，從過去不需要專門的處理器到現(xiàn)在圖像處理需求的不斷增加，尤其在游戲領(lǐng)域，隨著圖像分辨率的提升及實(shí)時(shí)渲染的需求，將圖像處理作為單獨(dú)任務(wù)轉(zhuǎn)移到專用處理器上已成必須，因而有了GPU；
在信號(hào)處理方面，由于類似多任務(wù)場(chǎng)景的出現(xiàn)，也需要將信號(hào)處理轉(zhuǎn)移到專用設(shè)備上進(jìn)行處理，也就有了現(xiàn)在的DSP；
而隨著智能硬件的出現(xiàn)及相關(guān)領(lǐng)域算力需求持續(xù)走高，對(duì)功耗、延時(shí)等要求更高的智能處理器也成為繼上述處理器之后的又一專用處理器類型。
從云服務(wù)到智能手機(jī)，未來每臺(tái)計(jì)算機(jī)都可能需要一個(gè)專用的深度學(xué)習(xí)處理器，這一市場(chǎng)預(yù)計(jì)將成為和GPU同樣規(guī)模，每年擁有6.4億顆芯片，數(shù)百億美元銷售額的市場(chǎng)。
據(jù)雷鋒網(wǎng)了解，自2008年初步擁有一定研究成果到2016年成立寒武紀(jì)科技公司，在全球人工智能學(xué)術(shù)界曾取得諸多學(xué)術(shù)成果，包括2013年發(fā)布國(guó)際首個(gè)深度學(xué)習(xí)處理器（DianNao）,2014年發(fā)布國(guó)際首個(gè)多核深度學(xué)習(xí)處理器（DaDianNao）,2015年發(fā)布國(guó)際首個(gè)通用機(jī)器學(xué)習(xí)處理器（PuDianNao）及攝像頭上的智能識(shí)別IP（ShiDianNao）,2016年發(fā)布國(guó)際首個(gè)神經(jīng)網(wǎng)絡(luò)通用指令集（Cambricon）等。
談到2015年發(fā)布的通用機(jī)器學(xué)習(xí)處理器，寒武紀(jì)研究院院長(zhǎng)杜子?xùn)|表示，“在很多領(lǐng)域，尤其是一些小樣本的應(yīng)用領(lǐng)域，深度學(xué)習(xí)并不是最優(yōu)選項(xiàng)，甚至用SVM（Support Vector Machine，支持向量機(jī)）就已經(jīng)足夠，對(duì)于這類應(yīng)用，我們完全可以用一些傳統(tǒng)機(jī)器學(xué)習(xí)代替深度學(xué)習(xí)。這就是我們2015年做這個(gè)通用機(jī)器學(xué)習(xí)處理器的主要原因?！?/p>
也正是基于這樣深厚的學(xué)術(shù)積淀，寒武紀(jì)科技在2016年成立后，即推出寒武紀(jì)1A處理器。另外，寒武紀(jì)機(jī)器學(xué)習(xí)處理器MLU100采用TSMC 16nm工藝，擁有1.3GHz主頻，166Tops峰值，80W平均功耗，110W峰值功耗。
傳統(tǒng)ASIC將一個(gè)特定算法硬體化的思路無法很好地解決深度學(xué)習(xí)處理需求，主要存在以下三個(gè)矛盾：
有限規(guī)模的硬件和任意規(guī)模的算法的矛盾
結(jié)構(gòu)固定的硬件和千變?nèi)f化的算法的矛盾
能耗受限的硬件和精度優(yōu)先的算法的矛盾
以能耗問題為例，現(xiàn)在的圖像顯示已經(jīng)從之前的高清、超清，逐漸發(fā)展到1080P、4K，現(xiàn)在主流攝像頭已經(jīng)開始進(jìn)入到1080P，甚至4K的量級(jí)。對(duì)于這樣規(guī)模的算法，如何將它部署到一個(gè)有限規(guī)模的硬件上就成了一個(gè)大問題。
寒武紀(jì)過去做的學(xué)術(shù)工作主要也是針對(duì)這三大矛盾，展開研究工作。
采用硬件神經(jīng)元虛擬化解決有限規(guī)模的硬件和任意規(guī)模算法的這個(gè)矛盾。創(chuàng)新之處在于通過時(shí)分復(fù)用，將有限規(guī)模的硬件虛擬成任意大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)。其中關(guān)鍵技術(shù)在于控制架構(gòu)和訪存架構(gòu)，控制架構(gòu)方面支持硬件神經(jīng)元的動(dòng)態(tài)沖配置和運(yùn)行時(shí)編程，訪存架構(gòu)方面支持分離式的輸入神經(jīng)元、輸出神經(jīng)元和突觸的片上存儲(chǔ)。
從軟件角度來看，我們將整個(gè)軟件或網(wǎng)絡(luò)切割成不同的片，然后在硬件上進(jìn)行運(yùn)算，根據(jù)輸入數(shù)據(jù)的不同特征，將數(shù)據(jù)分別存儲(chǔ)，使得在訪存時(shí)能夠高效利用其局部特性。
硬件運(yùn)算單元的分時(shí)復(fù)用（虛擬化）示意圖如下圖所示。一個(gè)硬件運(yùn)算單元如果每次能夠處理兩處，針對(duì)圖中所示網(wǎng)絡(luò)，需要完成在不同時(shí)刻載入所需數(shù)據(jù)，或計(jì)算不同的輸出神經(jīng)元，然后通過往返復(fù)用，從而最完成整個(gè)網(wǎng)絡(luò)的運(yùn)算。
其中，通過對(duì)輸入神經(jīng)元的復(fù)用，當(dāng)把兩個(gè)所需神經(jīng)元載入到片上后，下一步的運(yùn)行是接著重復(fù)利用這兩個(gè)輸入神經(jīng)元，這樣能夠節(jié)省訪存次數(shù)，把這兩個(gè)神經(jīng)元或兩個(gè)所需數(shù)據(jù)完全用完后，再在片上載入新的數(shù)據(jù)，進(jìn)行下一步的這樣的運(yùn)算。
通過通用指令集解決結(jié)構(gòu)固定硬件和千變?nèi)f化的算法的矛盾。主要學(xué)術(shù)創(chuàng)新之處在于自動(dòng)抽取各種深度學(xué)習(xí)（機(jī)器學(xué)習(xí)）算法共性基本算子，設(shè)計(jì)了首個(gè)深度學(xué)習(xí)指令集來高效處理這些算法。其中關(guān)鍵技術(shù)在于算子聚類和運(yùn)算架構(gòu)。算子聚類自動(dòng)化抽取算法核心片段，基于數(shù)據(jù)特性聚為少數(shù)幾類；運(yùn)算架構(gòu)通過設(shè)計(jì)共性神經(jīng)元電路，支持變精度流水級(jí)。
寒武紀(jì)設(shè)計(jì)通用指令集的策略主要分為三步；
通過模型、用途、計(jì)算復(fù)雜度等方面的差異分析，選擇差異化的算法進(jìn)行加速；
分析數(shù)據(jù)的計(jì)算模型和數(shù)據(jù)局部性，尋找最耗時(shí)/最普遍的運(yùn)算操作集合，并研究算法的局部性，降低各算法的訪存需求；
針對(duì)功能部件或片上存儲(chǔ)設(shè)計(jì)合適的加速器結(jié)構(gòu)。
通過稀疏神經(jīng)網(wǎng)絡(luò)處理器結(jié)構(gòu)解決能耗受限的硬件和精度優(yōu)先的算法的矛盾。其學(xué)術(shù)創(chuàng)新之處在于利用神經(jīng)網(wǎng)絡(luò)對(duì)于計(jì)算誤差的容忍能力，進(jìn)行稀疏化神經(jīng)網(wǎng)絡(luò)處理，在有限的能耗下實(shí)現(xiàn)高精度的智能處理。
神經(jīng)網(wǎng)絡(luò)中的參數(shù)量很大，數(shù)據(jù)量也很大，同時(shí)，神經(jīng)元權(quán)值并不是很重要，如果將這些數(shù)據(jù)去除也不影響最后計(jì)算的識(shí)別結(jié)果。因而稀疏化是目前為止的一個(gè)重要數(shù)據(jù)處理方法。
神經(jīng)網(wǎng)絡(luò)模型最重要的是識(shí)別結(jié)果，識(shí)別結(jié)果并不是一個(gè)絕對(duì)量，而是一個(gè)相對(duì)量。例如采用傳統(tǒng)的Softmax進(jìn)行處理，最終是要選擇輸出最大神經(jīng)元。只要能保證采用稀疏神經(jīng)網(wǎng)絡(luò)或采用變精度神經(jīng)網(wǎng)絡(luò)計(jì)算出的最終輸出結(jié)果仍是之前的大神經(jīng)元，就可以認(rèn)為最后的輸出結(jié)果沒有錯(cuò)。當(dāng)然，計(jì)算結(jié)果中的error和loss都會(huì)有變化。
寒武紀(jì)研發(fā)團(tuán)隊(duì)利用神經(jīng)網(wǎng)絡(luò)對(duì)于識(shí)別結(jié)果之間的計(jì)算誤差的區(qū)別進(jìn)行稀疏化處理，從而使得整個(gè)網(wǎng)絡(luò)中所含有的神經(jīng)元和權(quán)值的數(shù)量大幅度減少。根據(jù)實(shí)驗(yàn)數(shù)據(jù)得出的結(jié)果是：有90%的權(quán)值都是可以被去除的。也就是說，理論上，通過稀疏化處理可以降低十倍的計(jì)算和訪存效率。針對(duì)這樣的稀疏特性設(shè)計(jì)處理器結(jié)構(gòu)，從而可以提高計(jì)算和訪存效率。
寒武紀(jì)現(xiàn)在主要產(chǎn)品包括智能處理器IP和智能芯片，尤其在智能芯片方面，從產(chǎn)品層面來看，已經(jīng)應(yīng)用到華為等智能手機(jī)上；從技術(shù)層面來看，寒武紀(jì)也開發(fā)了自己的處理器架構(gòu)和指令集，通過硬件神經(jīng)元虛擬化、開發(fā)通用指令集、運(yùn)用稀疏化處理器架構(gòu)解決了ASIC用于深度學(xué)習(xí)時(shí)存在的三大問題。
其實(shí)在寒武紀(jì)之前，已有龍芯的研發(fā)。除了同為中科院背景的兩個(gè)團(tuán)隊(duì)，在寒武紀(jì)研發(fā)團(tuán)隊(duì)中其實(shí)也可以看到龍芯的影子，尤其是，寒武紀(jì)創(chuàng)始人之一陳云霽教授師從胡威武研究員，而胡威武正是龍芯團(tuán)隊(duì)的主心骨。
經(jīng)歷了時(shí)代的更迭，在智能化浪潮下，杜子?xùn)|告訴雷鋒網(wǎng)編輯，寒武紀(jì)目前主要推動(dòng)兩個(gè)生態(tài)的建設(shè)：通過寒武紀(jì)的芯片給軟件開發(fā)人員提供更好的編程能力（小生態(tài)）；推動(dòng)智能處理器上下游生態(tài)建設(shè)（大生態(tài)）。
而就現(xiàn)在來看，要想在這波智能化浪潮中迎風(fēng)豎起這桿大旗，為國(guó)內(nèi)智能設(shè)備帶來更多優(yōu)質(zhì)AI處理器，寒武紀(jì)仍是任重道遠(yuǎn)。
相關(guān)文章：
寒武紀(jì)推出首款云端AI芯片 能否對(duì)標(biāo)英偉達(dá)？
專訪寒武紀(jì)CEO陳天石：AI芯片是中國(guó)主導(dǎo)世界AI產(chǎn)業(yè)的機(jī)會(huì)
華為麒麟980發(fā)布：7nm雙核NPU加持，性能“超級(jí)恐怖”
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
