人工智能行業(yè)面臨百萬(wàn)量級(jí)的人才缺口，正值春招求職季，雷鋒網(wǎng) AI 慕課學(xué)院與雷鋒網(wǎng)旗下學(xué)術(shù)頻道 AI 科技評(píng)論聯(lián)合騰訊課堂共同開啟一場(chǎng)關(guān)于AI 求職的經(jīng)驗(yàn)分享盛宴——「AI 求職季·AI 工程師 offer 直通車系列直播」欄目。

4 月 10 日的第一場(chǎng)分享嘉賓——Momenta 高級(jí)視覺算法研究員李翔帶來(lái)了《打造自動(dòng)駕駛大腦——看 Paper Reading 直播，拿 Momenta 頂級(jí) offer》的直播分享。

李翔，南京理工大學(xué) PCALab 博士在讀，阿里巴巴天池首屆大數(shù)據(jù)競(jìng)賽冠軍，滴滴 Di-Tech 首屆大數(shù)據(jù)競(jìng)賽冠軍。知乎專欄 DeepInsight 作者。早期負(fù)責(zé) Momenta 車道線檢測(cè)相關(guān)模塊，現(xiàn)專注于神經(jīng)網(wǎng)絡(luò)基礎(chǔ)算法研發(fā)。

以下是李翔在雷鋒網(wǎng)「AI 求職季·AI 工程師 offer 直通車系列直播」欄目的分享內(nèi)容精選。

本次 Paper Reading 我們并沒有關(guān)注某些特定的 paper，而是用一個(gè)視角對(duì)現(xiàn)有的代表性的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)進(jìn)行總結(jié)。

聚合-轉(zhuǎn)移框架

卷積神經(jīng)網(wǎng)絡(luò)通常都是由許多不同的層級(jí)結(jié)構(gòu)組成的。上圖的藍(lán)框部分是被定義的 L 層網(wǎng)絡(luò)單元，它總體包含聚合（Aggregation）和轉(zhuǎn)移（Transformer）兩個(gè)部分。具體來(lái)說(shuō)，聚合可用圖示的函數(shù)表示，聚合函數(shù) A 代表通過選擇 L 以前層的 X 的一個(gè)子集作為輸入，得到聚合特征 S；轉(zhuǎn)移的部分比較簡(jiǎn)單，將聚合特征 S 通過轉(zhuǎn)移函數(shù) T 得到 L 層的 X。

這便是聚合-轉(zhuǎn)移框架的視角，從這個(gè)視角出發(fā)，可對(duì)現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)進(jìn)行解讀。

為了更加形象的理解，我們舉一個(gè)具體的且耳熟能詳?shù)睦印狣enseNet。DenseNet 是 CVPR 2017 的最佳論文。從聚合-轉(zhuǎn)移框架的視角（以上兩個(gè)表達(dá)式）來(lái)看，subset 子集收斂到所有的 L 層之前的 X 上；聚合函數(shù) A 具體化為 channel 維度的拼接（concatenation），拼接可用兩條豎線的符號(hào)標(biāo)記；這是聚合部分的情況。

對(duì)于轉(zhuǎn)移部分，一般在 DenseNet 中，轉(zhuǎn)移函數(shù) T 通常具象化為順序 2 次的 BN+ReLU+Conv。

聚合的子集

接下來(lái)，從子集的構(gòu)成和聚合函數(shù) A 入手，分別討論他們目前已有的主流的形式。

對(duì)于聚合函數(shù) A 而言，第一種情況是子集（subset）只是選取 L-1 層的 X。這個(gè)模式普遍出現(xiàn)于早期的 feed-forward 的神經(jīng)網(wǎng)絡(luò)中，主要代表有 LeNet、AlexNet、VGG、GoogLeNet、InceptionV2 V3、MobileNetV1。

第二種情況是子集（subset）選擇 L 層之前所有層的 X，這是較為常見的。主要代表作有 ResNet 系列、DenseNet 系列以及基于 ResNet 或者 DenseNet 提出改進(jìn)的一些網(wǎng)絡(luò)結(jié)構(gòu)。

DenseNet 是選擇之前所有層進(jìn)行密集的鏈接，但是 ResNet 是怎么回事？難道 ResNet 不是 skip connection 嗎？下面將為大家推導(dǎo)解答 ResNet 和 DenseNet 在拓?fù)浣Y(jié)構(gòu)上的等價(jià)性。

首先分析圖中（a）的拓?fù)浣Y(jié)構(gòu)，這個(gè)拓?fù)浣Y(jié)構(gòu)基本上是 DenseNet 的結(jié)構(gòu)，符號(hào)和聚合-轉(zhuǎn)移框架是保持一致的，于是可以寫出它數(shù)學(xué)上的表達(dá)式，具體化為 channel 維度的拼接，進(jìn)行一步的轉(zhuǎn)移后得到 DenseNet 標(biāo)準(zhǔn)的表達(dá)式，也是其論文中的原始定義。

再看圖中（b）ResNet 的結(jié)構(gòu)，是一個(gè)標(biāo)準(zhǔn)的 skip connection 結(jié)構(gòu)。根據(jù) ResNet 的定義可寫出表達(dá)式（1），從表達(dá)式中也體現(xiàn)了 skip connection；同時(shí)表達(dá)式（2）即是中間 feature X 的表達(dá)。在得到表達(dá)式（1）和表達(dá)式（2）后，可將表達(dá)式（1）不斷地循環(huán)地帶入表達(dá)式（2）中，最后可以得到一個(gè)非常有意思的表達(dá)式。

最后，將（a）和（b）兩個(gè)網(wǎng)絡(luò)的表達(dá)式平行地寫在一起，發(fā)現(xiàn)兩者唯一的區(qū)別就在于聚合函數(shù) A，（a）DenseNet 結(jié)構(gòu)表現(xiàn)為 channel 維度的拼接，（b）ResNet 結(jié)構(gòu)表現(xiàn)為逐元素的相加。二者遵循的都是一個(gè)相同的 Dense 的拓?fù)溥B接結(jié)構(gòu)。這部分的具體細(xì)節(jié)可以查看 Mixed Link Network 的論文。

提到這里，不得不回顧一個(gè)小往事。眾所周知，ResNet 前后其實(shí)提了兩個(gè)版本。第一個(gè)版本是圖（a），也是 CVPR 的最佳論文《Deep Residual Learning for Image Recognition》，第二個(gè)版本是圖（b），是第一篇論文發(fā)表后的第二年發(fā)表的論文，名為《Identity Mappings in Deep Residual Networks》。這兩個(gè)版本的最大區(qū)別就是 skip connection 之后是否接 relu。第一個(gè)版本接了 relu，如果按照第一個(gè)版本，我們之前的推導(dǎo)是無(wú)法完成的。從實(shí)驗(yàn)上來(lái)講，第一個(gè)版本的確也是存在一些問題的，圖中是當(dāng)時(shí)的實(shí)驗(yàn)結(jié)果，第一個(gè)版本的 ResNet 隨著網(wǎng)絡(luò)層數(shù)從一百層上升到一千多層，性能反而在下降。等到第二個(gè)版本，就完全符合了 Dense 的拓?fù)浣Y(jié)構(gòu)，隨著網(wǎng)絡(luò)變得很深，性能也能夠穩(wěn)定下降。這也充分地告訴我們，Dense 的拓?fù)浣Y(jié)構(gòu)的確是具有一些非常優(yōu)秀的性質(zhì)，使得 RenseNet 和 DenseNet 在現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)上都有著重要的影響力。

以上是在解釋為什么 ResNet 其實(shí)是選擇了之前所有層的 X 進(jìn)行了聚合。

近期 Google 的一些 network architecture search 的工作（NASNet 和 ENASNet）采用了通過 RNN 去 sample 出 2 個(gè) L 層之前的 X 進(jìn)行聚合。他們的核心思想就是把 Reinforcement Learning 的思想引入到自動(dòng)的架構(gòu)設(shè)計(jì)中。具體來(lái)說(shuō)，他們會(huì)使用一個(gè) RNN 去 sample 出一些基礎(chǔ)的連接結(jié)構(gòu)，形成基元模塊，使得網(wǎng)絡(luò)性能更好。

RNN 的輸出基本分為兩大類，一個(gè)是 layer id，也就是選擇之前的哪一層；另一個(gè)類是基礎(chǔ)運(yùn)算操作。圖中紅色框部分就是每次 sample 出的兩個(gè)層的 X。具體細(xì)節(jié)可以參考論文原文。

聚合函數(shù) A

接下來(lái)介紹聚合函數(shù) A 的幾個(gè)代表形式。首先是恒等變換，也就是 Identity 函數(shù)，在通常的 feed-forward 網(wǎng)絡(luò)中，聚合的特征是使用了上一層的 feature X，在聚合過程中不會(huì)對(duì) feature 進(jìn)行任何操作，僅是轉(zhuǎn)移至下一層。

第二是逐元素（Element-wise）的相加，這類操作普遍出現(xiàn)在有 skip connection 的網(wǎng)絡(luò)系列中，例如 PreResNet、ResNeXt、MobileNetV2、SENet-ResNeXt。聚合的方式是在拿到子集（subset）的 feature 后，保證其維度一致，將每個(gè)位置的元素累加，隨后進(jìn)入轉(zhuǎn)移環(huán)節(jié)。

第三是通道（channel）上的拼接，代表作是 DenseNet。這類形式是將所有 feature 在通道維度上進(jìn)行一個(gè)擴(kuò)增。通常，DenseNet 的 feature X 的維度都比較小，保持量級(jí)不會(huì)過大，控制最終的 feature 維度在一定范圍內(nèi)。

最后再介紹下混合了 addition 和 concatenation 的兩種操作，混合的意思是在聚合的過程中既包括按位置的逐元素的相加，也包括 channel 維度的拼接，其主要代表作是 DPN、MixNex 和 ShuffleNet。DPN 可被視為擁有兩條通路的網(wǎng)絡(luò)，左邊的通路為 ResNet，右邊的通路為 DenseNet，進(jìn)行 feature 上的拼接后，在轉(zhuǎn)移過程中包含了逐元素的相加和 channel 維度的拼接。MixNet 也是相似的原理，但去掉了嚴(yán)格意義上的 ResNet 的通路，把逐元素相加平均分?jǐn)偟讲粩鄶U(kuò)增的所有 feature 上。ShuffleNet 則是在降采樣的時(shí)候和非降采樣的時(shí)候使用不同的兩種操作，從而最終將其混合起來(lái)。

轉(zhuǎn)移

轉(zhuǎn)移如果更加細(xì)致的劃分可能可以有很多種分類方式，但由于篇幅限制本次只從兩個(gè)方向簡(jiǎn)單地介紹轉(zhuǎn)移的部分，分別是單路的轉(zhuǎn)移和多路的轉(zhuǎn)移（Single Path 和 Multiple Path）。通過順序的卷積、組卷積等基元操作完成特征轉(zhuǎn)移的網(wǎng)絡(luò)都可被歸納為單路的轉(zhuǎn)移（SinglePath）。在擁有聚合的 feature 之后，可以通過 feed-forward（單向流）的方式，將基礎(chǔ)的操作如 concatenation、BN、pooling、激活函數(shù)等進(jìn)行單向的組合，經(jīng)過這一單路的組合，可以得到轉(zhuǎn)移后的 feature。單路的網(wǎng)絡(luò)包括 LeNet、AlexNet、VGG、PreResNet、ResNeXT、DenseNet、DPN、MixNet、ShuffleNet、MobileNetV1 V2 等目前主流的網(wǎng)絡(luò)，目前小型設(shè)備上使用的網(wǎng)絡(luò) ShuffleNet、MobileNetV1 V2 都是單路轉(zhuǎn)移的設(shè)計(jì)，不涉及多路的轉(zhuǎn)移。

除了通過順序的卷積、組卷積等基元操作完成特征轉(zhuǎn)移的網(wǎng)絡(luò)之外，其他的網(wǎng)絡(luò)可被歸納為多路的轉(zhuǎn)移（MultiplePath）。首要的代表作是 GoogLeNet 的 Inception 系列，Inception 系列最早就是沿著多路的思路設(shè)計(jì)的，同一個(gè) feature 會(huì)經(jīng)過不同的深度、感受野的組織路徑，進(jìn)而設(shè)計(jì)出從 V1 到 V4 的系列版本。在迭代過程中，內(nèi)部結(jié)構(gòu)的變化越來(lái)越多，比如說(shuō)把大的卷積替換成小的卷積的組合，然后卷積再進(jìn)行分解，3 乘 3 的分解成 3 乘 1 和 1 乘 3 等等。這一系列中唯一不變的便是其多路轉(zhuǎn)移的設(shè)計(jì)思路。

值得一提的是，Momenta 在 ImageNet 2017 的奪冠架構(gòu) SENet 便可以看作在特征轉(zhuǎn)移的步驟中增加了一個(gè) multiple path，一路是 identity，另一路是 channel 上的 global attention。其實(shí)，轉(zhuǎn)移部分還可以從更多更深入的角度在做分類和整理，我們今天僅從單路和多路的角度做了一些梳理，希望能給大家?guī)?lái)啟發(fā)。

上圖是本次分享的回顧，梳理了目前主流的架構(gòu)。從子集選取的角度出發(fā)，可分為三種設(shè)計(jì)；從聚合函數(shù)的角度出發(fā)，可分為四種設(shè)計(jì)；從轉(zhuǎn)移函數(shù)的角度出發(fā)，可簡(jiǎn)單分為兩種設(shè)計(jì)。

希望這個(gè)表格能在子集選擇、設(shè)計(jì)聚合函數(shù)和轉(zhuǎn)移函數(shù)時(shí)給予大家啟發(fā)。例如，現(xiàn)在借助網(wǎng)絡(luò)架構(gòu)搜索是一個(gè)很好的方向，比如 NASNet 和 ENASNet，但其本身具有一定的局限性。首先搜索空間是被定義好的。當(dāng)基礎(chǔ)單元的研究沒有到位時(shí)，搜索空間可能不會(huì)被定義得非常好，甚至有些很多結(jié)構(gòu)在搜索空間里搜不到的，比如說(shuō) Google 的 Inception 結(jié)構(gòu)，比如說(shuō) DPN 和 MixNet 這類混合的結(jié)構(gòu)。它們?cè)谛阅苌系奶嵘踔量赡芡⒉蝗缛斯ぴO(shè)計(jì)的結(jié)構(gòu)。所以，接下來(lái)的網(wǎng)絡(luò)設(shè)計(jì)應(yīng)該是基礎(chǔ)單元結(jié)合架構(gòu)搜索同時(shí)前進(jìn)，相互補(bǔ)充相互啟發(fā)，從而達(dá)到共同的提高。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。