我們目前身處的人工智能浪潮在很大程度上是數(shù)據(jù)驅(qū)動的。在這個「數(shù)據(jù)為王」的時代，數(shù)據(jù)的壁壘為研究者們開展研究帶來了大量的障礙。然而，我們真的只有利用這些「真實」的數(shù)據(jù)才能訓(xùn)練出性能優(yōu)秀的模型嗎？ 

最近，來自 Uber 的研究人員提出了一種生成式教學(xué)網(wǎng)絡(luò)（GTN），可以通過生成非真實的訓(xùn)練數(shù)據(jù)，可以看下通過 GTN 生成的數(shù)字，基本沒有一個是我們能夠認(rèn)得出來的：

把這些數(shù)據(jù)用在神經(jīng)網(wǎng)絡(luò)架構(gòu)的搜索（NAS）上，能夠獲得9倍的提速，且計算量下降幾個數(shù)量級。這項工作非常有意義，按照作者的說法，“GTN開辟了一個新的研究方向”；此外，GTN 并不僅僅適用于NAS，它是一種通用的工具，可以被用于機器學(xué)習(xí)的所有領(lǐng)域。作者為此專門寫了一篇解讀博客，內(nèi)容詳實有趣，AI 科技評論翻譯并稍作修改——

九倍提速

通過使用大量由人類標(biāo)注的數(shù)據(jù)，我們推動了機器學(xué)習(xí)技術(shù)的發(fā)展，但是要制作出這種帶標(biāo)簽的數(shù)據(jù)需要付出大量的時間和金錢。在 Uber 人工智能實驗室，我們研究了一個非常有趣的問題：我們是否可以創(chuàng)建一些學(xué)習(xí)算法，通過學(xué)習(xí)智能體所處的環(huán)境以及「課程」（curricula）自動地生成訓(xùn)練數(shù)據(jù)，從而幫助人工智能體迅速地學(xué)習(xí)。在我們發(fā)表的論文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」（https://arxiv.org/abs/1912.07768）中，我們說明了可以通過「生成式教學(xué)網(wǎng)絡(luò)」（GTN）實現(xiàn)這樣的算法。

GTN 是一種深度神經(jīng)網(wǎng)絡(luò)，它能夠生成數(shù)據(jù)或生成訓(xùn)練環(huán)境，學(xué)習(xí)器（例如，某種剛剛經(jīng)過初始化的神經(jīng)網(wǎng)絡(luò)）在接受目標(biāo)任務(wù)（例如，識別圖中的物體）之前，可以使用 GTN 生成的數(shù)據(jù)或訓(xùn)練環(huán)境進行訓(xùn)練。這種方法的一個優(yōu)點是，GTN 可以生成「合成」的數(shù)據(jù)。其它的神經(jīng)網(wǎng)絡(luò)使用 GTN 生成的數(shù)據(jù)進行訓(xùn)練時，可以獲得比在真實數(shù)據(jù)上進行訓(xùn)練更快的訓(xùn)練速度。這使我們能夠以比使用真實數(shù)據(jù)訓(xùn)練快九倍的速度搜索新的神經(jīng)網(wǎng)絡(luò)架構(gòu)?；?GTN 的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（GTN-NAS）可以與目前最先進的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）方法相媲美，它能夠在使用比經(jīng)典的 NAS 方法少幾個數(shù)量級的計算量的情況下獲得目前最佳的性能。而且，實現(xiàn)這種最佳性能的新技術(shù)非常有趣！

神經(jīng)網(wǎng)絡(luò)的架構(gòu)與它的一些設(shè)計選擇有關(guān)（例如，它應(yīng)該有多少層，每層應(yīng)該有多少神經(jīng)元，層與層之間應(yīng)該具有怎樣的連接關(guān)系，等等）。不斷改進的神經(jīng)網(wǎng)絡(luò)架構(gòu)使機器學(xué)習(xí)在諸多領(lǐng)域（例如，計算機視覺、自然語言處理、語音轉(zhuǎn)文本）都取得了重大進展。然而，搜索高性能網(wǎng)絡(luò)架構(gòu)的任務(wù)通常是由科學(xué)家手動完成的，這極其耗時。

漸漸地，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS，http://www.cs.ucf.edu/~kstanley/neat.html）算法被部署到自動化的架構(gòu)搜索工作中，得到了很好的結(jié)果。盡管大量的人類科學(xué)家已經(jīng)針對ImageNet 和 CIFAR 等流行的計算機視覺對比基準(zhǔn)試圖找到最佳的模型架構(gòu)，但是 NAS 仍然得出了目前性能最佳的實驗結(jié)果（https://arxiv.org/abs/1802.01548）。如果我們可以提升 NAS 的效率，那么整個機器學(xué)習(xí)社區(qū)中的從業(yè)人員都會大大受益。

挑戰(zhàn)

NAS 需要大量的計算資源。樸素的 NAS 算法會使用完整的數(shù)據(jù)集訓(xùn)練每個神經(jīng)網(wǎng)絡(luò)，從而對其進行評估，直到模型性能不再提升。對于數(shù)千個（甚至更多的）在 NAS 過程中需要考慮的網(wǎng)絡(luò)架構(gòu)重復(fù)這個過程的計算開銷機器高昂，并且速度極慢。NAS 算法通過僅僅進行少量時間的訓(xùn)練并且將得到的性能作為真實性能的估計值，避免了如此高昂的計算開銷。進一步加速這一過程的方法可能是：從完整的數(shù)據(jù)集中精心地選擇信息量做大的訓(xùn)練樣本。論文「Learning Active Learning from Data」（https://arxiv.org/abs/1703.03365）中提到的方法已經(jīng)被證明可以加速訓(xùn)練（該論文的主題超出了 NAS 的范疇）。

然而，我們想知道是否可以通過更激進的思路來加速這一過程：讓機器學(xué)習(xí)模型可以自己創(chuàng)建訓(xùn)練數(shù)據(jù)。這種算法不僅僅局限于創(chuàng)建逼真的圖像，相反，它也可以創(chuàng)建有助于學(xué)習(xí)的非真實數(shù)據(jù)，就像在籃球訓(xùn)練中我們學(xué)習(xí)同時運兩個球可以加快學(xué)習(xí)速度（即使這與實際的比賽完全不一樣）。因此，GTN 自由地創(chuàng)建非真實的數(shù)據(jù)，可以使得模型比使用個真實數(shù)據(jù)更快地學(xué)習(xí)。例如，GTN 可以融合許多不同類型的對象的信息，并且集中利用最困難的示例進行訓(xùn)練。

方法：生成式教學(xué)網(wǎng)絡(luò)（GTN-NAS）

這個過程的工作流程如圖 1 所示。GTN 就好比生成對抗網(wǎng)絡(luò)（GAN，http://papers.nips.cc/paper/5423-generative-adversarial-nets）中的生成器，只是它沒有生成逼真數(shù)據(jù)的壓力。相反，它產(chǎn)生的是完全人造的數(shù)據(jù)，一個之前沒有見到過的學(xué)習(xí)器神經(jīng)網(wǎng)絡(luò)（具有隨機采樣的架構(gòu)和權(quán)值初始化結(jié)果）會使用這些數(shù)據(jù)訓(xùn)練少量的學(xué)習(xí)步（例如，可以通過隨機梯度下降實現(xiàn)這些學(xué)習(xí)步）。然后，我們會使用真實的數(shù)據(jù)評估學(xué)習(xí)器網(wǎng)絡(luò)（到目前為止還沒有見過真實的數(shù)據(jù)），例如評估該網(wǎng)絡(luò)是否能識別經(jīng)典 MNIST 數(shù)據(jù)集中的手寫數(shù)字圖像，該過程可以得到正在被優(yōu)化的元損失目標(biāo)函數(shù)（meta-loss objective）。接著，我們通過元梯度（https://arxiv.org/abs/1502.03492）對整個學(xué)習(xí)過程進行微分，更新GTN 的參數(shù)，從而提高目標(biāo)任務(wù)上的性能。之后，我們會棄用該學(xué)習(xí)器，并重復(fù)這個過程。另一個細節(jié)是，我們發(fā)現(xiàn)學(xué)習(xí)一個「課程」（一組按照特定順序排列的訓(xùn)練示例）相較于訓(xùn)練一個生成無序隨機示例分布的生成器更加能夠提高模型性能。

GTN 涉及到了一種被稱為「元學(xué)習(xí)」的令人激動的機器學(xué)習(xí)類型。在這里，元學(xué)習(xí)被用于網(wǎng)絡(luò)架構(gòu)搜索。過去的研究者們（https://arxiv.org/abs/1502.03492）已經(jīng)使用元學(xué)習(xí)直接（逐像素地）優(yōu)化了「合成」數(shù)據(jù)。在這里，通過訓(xùn)練一個生成器，我們可以重用更多的抽象信息（例如，關(guān)于數(shù)字「3」的形態(tài)特征）來編碼各種各樣的樣本（例如，許多不同的「3」）。我們進行的實驗證明了，GTN 生成器比直接優(yōu)化數(shù)據(jù)的性能更好。更多關(guān)于 GTN 與之前相關(guān)工作比較的細節(jié)討論，請參閱我們的論文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」（https://arxiv.org/abs/1912.07768）。

圖1：生成式教學(xué)網(wǎng)絡(luò)（GTN）示意圖。生成器（一個深度神經(jīng)網(wǎng)絡(luò)）生成合成數(shù)據(jù)，一個新創(chuàng)建的學(xué)習(xí)器會使用這些數(shù)據(jù)進行訓(xùn)練。使用 GTN 生成的數(shù)據(jù)集進行訓(xùn)練后，該學(xué)習(xí)器可以在目標(biāo)任務(wù)上取得很好的性能（盡管它們從未見過真實的數(shù)據(jù)）。

在對 GTN 進行元訓(xùn)練后，當(dāng)學(xué)習(xí)僅限于少量的隨機梯度下降學(xué)習(xí)步時（例如，32），新的學(xué)習(xí)器可以使用合成數(shù)據(jù)比使用真實數(shù)據(jù)學(xué)習(xí)得更快（如圖 2 中紅色的曲線代表使用合成數(shù)據(jù)，藍色曲線代表使用真實數(shù)據(jù)）

圖 2：使用 GTN 生成的合成數(shù)據(jù)進行訓(xùn)練比使用數(shù)據(jù)訓(xùn)練更快，當(dāng)僅僅經(jīng)過少量隨機梯度下降步訓(xùn)練時，可以得到更高的 MNIST 性能。

在 MNIST 數(shù)據(jù)集上獲得 98.9% 準(zhǔn)確率本身并沒有多么經(jīng)驗，但是能夠使用這么少的樣本做到的一點是：使用 GTN 合成數(shù)據(jù)訓(xùn)練的學(xué)習(xí)器可以在僅僅 32 個隨機梯度下降步（約 0.5 秒）的訓(xùn)練后達到這個水平。同時，學(xué)習(xí)器僅僅在「課程」中「看」過了一次 4,096 個合成數(shù)據(jù)，這個數(shù)據(jù)規(guī)模還不到 MNIST 訓(xùn)練數(shù)據(jù)集的十分之一。

有趣的是，盡管我們可以使用這些合成圖片訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并且學(xué)著識別真正的手寫數(shù)字，但許多由 GTN 生成的圖片實際上在我們?nèi)祟惪磥硎鞘制婀值?，我們并不能將它們識別為數(shù)字（詳見圖 3）。這些非真實的圖片可能對神經(jīng)網(wǎng)絡(luò)產(chǎn)生有意義的影響，這種現(xiàn)象反過來也會讓人不禁想起深度神經(jīng)網(wǎng)絡(luò)很容易被「愚弄」（https://arxiv.org/abs/1412.1897）。同樣非常有趣的是，在課程的末期，當(dāng)模型性能達到平穩(wěn)期之后，手寫數(shù)字的可識別性會急劇提升（詳見圖 2 中的第 32 步）。關(guān)于「為什么圖片大部分是非真實的」，以及「為什么在課程的末期它們的真實性會提升」的假設(shè)的討論，請參閱我們的論文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」（https://arxiv.org/pdf/1912.07768.pdf）。

圖 3：GTN 生成的具有「課程」性質(zhì)的 MNIST 圖像。課程的順序從左到右排列（每一列是 32 批數(shù)據(jù)中的一批）。

在確定 GTN 可以加速在 MNIST 數(shù)據(jù)集上的訓(xùn)練后，我們在 CIFAR-10 數(shù)據(jù)集上進行了測試，這同樣也是一個常用的 NAS 對比基準(zhǔn)。和在 MNIST 數(shù)據(jù)集上訓(xùn)練的情況相似，在這里，學(xué)習(xí)器使用 GTN 生成的數(shù)據(jù)學(xué)習(xí)的速率要快于使用真實數(shù)據(jù)學(xué)習(xí)的速率。具體而言，即使與高度優(yōu)化的使用真實數(shù)據(jù)的學(xué)習(xí)算法相比，使用合成數(shù)據(jù)訓(xùn)練的學(xué)習(xí)器在性能水平相同的情況下，學(xué)習(xí)的速率也要比前者快四倍（詳見圖 4）。

圖 4：在 CIFAR 數(shù)據(jù)集上，使用 GTN 生成的合成數(shù)據(jù)進行訓(xùn)練的速率比使用真實數(shù)據(jù)也更快一些，在性能水平相同的情況下，速率提升了 4 倍。

基于 GTN 的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

為了搜索網(wǎng)絡(luò)架構(gòu)，我們采用了來自許多論文（https://arxiv.org/abs/1611.01578，https://arxiv.org/abs/1802.03268，https://arxiv.org/abs/1808.07233）的思想。我們先搜索一個小型的架構(gòu)模塊，然后通過一個預(yù)先確定的「藍圖」重復(fù)組合這樣的模塊，從而創(chuàng)建不同規(guī)模的架構(gòu)。一旦我們發(fā)現(xiàn)了一個高質(zhì)量的模塊，它就可以被用來創(chuàng)建一個更大的網(wǎng)絡(luò)，然后用真實的數(shù)據(jù)訓(xùn)練這個網(wǎng)絡(luò)，在目標(biāo)任務(wù)上收斂。

在GTN-NAS中，最終目標(biāo)是找到一種經(jīng)過在真實數(shù)據(jù)上訓(xùn)練許多步（即直到收斂）后，能夠取得很好的性能表現(xiàn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。因此，測量在使用 GTN 生成的數(shù)據(jù)訓(xùn)練少量的學(xué)習(xí)步后得到的任何模型的性能，都只是一種估計當(dāng)我們最終使用真實數(shù)據(jù)訓(xùn)練時，哪些架構(gòu)會表現(xiàn)良好的手段。我們發(fā)現(xiàn)，使用 GTN 數(shù)據(jù)訓(xùn)練得到的模型性能可以被用來預(yù)測真實情況下的模型性能（使用 GTN 估計的排名前 50% 的架構(gòu)與真實情況的 Spearman 等級相關(guān)系數(shù)為 0.56）。例如，根據(jù) GTN 非?？斓墓烙?，排名前 10% 的架構(gòu)實際上性能非常高（詳見圖 5 中的藍色方塊）。這意味著我們可以通過 GTN 生成的數(shù)據(jù)快速地評估許多網(wǎng)絡(luò)架構(gòu)，從而識別出一些看起來有潛力的架構(gòu)，然后使用真實數(shù)據(jù)訓(xùn)練這些架構(gòu)，最終確定哪些架構(gòu)在目標(biāo)任務(wù)上真正性能優(yōu)異。有趣的是，我們發(fā)現(xiàn)，要實現(xiàn)與使用 GTN 生成的數(shù)據(jù)僅僅在 128 個隨機梯度下降訓(xùn)練步上取得的相同的預(yù)測能力（等級相關(guān)系數(shù)），你需要使用真實數(shù)據(jù)訓(xùn)練 1,200 個梯度下降訓(xùn)練步。這說明，使用 GTN 生成的數(shù)據(jù)比使用真實數(shù)據(jù)進行網(wǎng)絡(luò)架構(gòu)搜索要快 9 倍！

圖 5：針對根據(jù) GTN 估計得到的前 50% 的架構(gòu)，使用 GTN 合成數(shù)據(jù)訓(xùn)練 30 秒后最終得到的性能與使用真實數(shù)據(jù)訓(xùn)練 4 小時后取得性能的相關(guān)系數(shù)圖。圖中的相關(guān)系數(shù)足夠高（Spearman 等級相關(guān)系數(shù)為 0.5582），當(dāng)我們選用根據(jù) GTN 估計得到的性能最好的架構(gòu)時，我們也會選擇出真實性能最好的架構(gòu)。根據(jù) GTN 估計的結(jié)果，藍色方塊代表性能前 10% 的架構(gòu)。

因此，GTN 生成的數(shù)據(jù)在 NAS 算法中可以更快地替代真實數(shù)據(jù)。為了說明該過程，我們選用了最簡單的 NAS 方法：隨機搜索。該算法非常簡單，我們可以確定不存在復(fù)雜的算法組件和使用 GTN 生成的數(shù)據(jù)之間特殊的、令人困惑的相互作用。在隨機搜索過程中，該算法隨機采樣得到網(wǎng)絡(luò)架構(gòu)，并且在給定計算資源預(yù)算的情況下盡可能多地進行估計。在我們的實驗中，這些估計要么是針對使用 GTN 生成的數(shù)據(jù)訓(xùn)練 128 個隨機梯度下降訓(xùn)練步后的架構(gòu)，要么是針對使用真實數(shù)據(jù)訓(xùn)練的架構(gòu)。接著，對于每一種方法，根據(jù)估計得到的最佳架構(gòu)會使用真實數(shù)據(jù)訓(xùn)練很長的時間。在真實數(shù)據(jù)上最終取得的性能才是我們真正關(guān)心的結(jié)果。

由于 GTN 能夠更快地評估每個架構(gòu)，它們能夠在給定一定的計算資源的情況下，對更多整體框架進行估計。在我們實驗的每一種情況下，我們都證明了：使用 GTN 生成的數(shù)據(jù)比使用真實數(shù)據(jù)更快，并取得了更好的性能（詳見表 1）。甚至，當(dāng)我們將使用真實數(shù)據(jù)訓(xùn)練 10 天的結(jié)果與使用 GTN 生成數(shù)據(jù)訓(xùn)練 2/3 天的結(jié)果進行比較時，這個結(jié)論也成立（詳見表 1）。此外，采用隨機搜索策略（以及表 1 中列出的一些附加功能）的 GTN-NAS 也可以與采用了比隨機搜索復(fù)雜得多的策略的 NAS 方法相抗衡（「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」（https://arxiv.org/pdf/1912.07768.pdf））。重要的是，GTN 生成的數(shù)據(jù)也可以直接被這些算法使用，我們期望這將同時在這兩種場景下取得最佳的效果，提升目前最佳模型的性能。

表 1：GTN 可以直接替代真實數(shù)據(jù)，加速 NAS 的過程。在上表中，實驗結(jié)果是使用簡單的隨機搜索 NAS 策略實現(xiàn)的，但是 GTN 應(yīng)該也可以加速任意的 NAS 方法。參數(shù)的個數(shù)指的是學(xué)習(xí)器神經(jīng)網(wǎng)絡(luò)中權(quán)重的個數(shù)。

未來的發(fā)展方向

生成式教學(xué)網(wǎng)絡(luò)（GTN，https://arxiv.org/abs/1912.07768）生成了合成數(shù)據(jù)，這種數(shù)據(jù)使新的學(xué)習(xí)器網(wǎng)絡(luò)能夠迅速地針對某種任務(wù)進行學(xué)習(xí)。這使得研究者們可以快速地評估一種新提出的候選網(wǎng)絡(luò)架構(gòu)的學(xué)習(xí)潛力，這促進了對新的、更強大的神經(jīng)網(wǎng)絡(luò)架構(gòu)的搜索。通過我們的研究，我們說明了：GTN 生成的訓(xùn)練數(shù)據(jù)創(chuàng)建了一種更快的 NAS方法，它與目前最先進的 NAS 算法旗鼓相當(dāng)（但實現(xiàn)的方式完全不同）。在我們的 NAS 工具箱中加入這種額外的 GTN 工具，對 Uber、所有的公司，以及全世界的所有科學(xué)家大有助益，可以幫助它們提升深度學(xué)習(xí)在每個應(yīng)用領(lǐng)域的性能。

除了我們的直接成果，我們對 GTN 開辟的新的研究方向也感到十分興奮。當(dāng)算法可以生成他們自己的問題和解決方案（https://eng.uber.com/poet-open-ended-deep-learning/）時，我們就可以解決比以前更難的問題。然而，生成問題需要定義一個環(huán)境搜索空間，這意味著我們需要編碼一個豐富的環(huán)境空間來進行搜索。GTN 有一種很好的特性，那就是它們可以生成幾乎任意類型的數(shù)據(jù)或訓(xùn)練環(huán)境，這使其具有巨大的潛在影響力。然而，雖然能夠生成任意的環(huán)境令人十分激動，但仍然需要通過更多的研究充分利用這種表達能力，從而不會迷失在 GTN 產(chǎn)生的各種各樣的可能性的海洋中。

從更宏觀的角度來說，我們認(rèn)為 GTN 是一種通用的工具，它可以被用于機器學(xué)習(xí)的所有領(lǐng)域。我們這份工作中展示出了其潛力，但是我們也相信它們可以在無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)，以及強化學(xué)習(xí)中得到有效的應(yīng)用（我們的論文已經(jīng)得到了強化學(xué)習(xí)方面的初步結(jié)果）。如果把目標(biāo)定得更大一些，GTN 可以通過以下方式幫助我們朝著能夠自動創(chuàng)建強大的人工智能形式的「人工智能生成算法」邁進：（1）對網(wǎng)絡(luò)架構(gòu)進行元學(xué)習(xí)；（2）對學(xué)習(xí)算法本身進行元學(xué)習(xí)；（3）自動生成訓(xùn)練環(huán)境。本文說明了，GTN 有助于這三種方法中的第一種（對網(wǎng)絡(luò)架構(gòu)進行元學(xué)習(xí)），但它們也可以通過生成復(fù)雜的訓(xùn)練環(huán)境、成功地訓(xùn)練智能體，來促進第三個方面的發(fā)展（自動生成訓(xùn)練環(huán)境）。

更多細節(jié)，請參閱我們的論文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」（https://arxiv.org/pdf/1912.07768.pdf）。

我們計劃在未來幾周內(nèi)發(fā)布這項研究的源代碼：敬請期待！

Via https://eng.uber.com/generative-teaching-networks/  雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。