導讀：2016國際人工智能聯(lián)合會議（IJCAI2016）于7月9日至7月15日舉行，今年會議聚焦于人類意識的人工智能，本文是IJCAI2016杰出學生論文（Distinguished Student Paper）。除了論文詳解之外，我們另外邀請到哈爾濱工業(yè)大學李衍杰副教授進行點評。

在長期學習中使用任務(wù)特征做 Zero-Shot 知識遷移

聯(lián)合編譯：Blake、章敏、陳圳

摘要

任務(wù)間的知識遷移可以提升學習模型的表現(xiàn)，但是需要對任務(wù)間關(guān)系進行準確評估，從而識別遷移的相關(guān)知識。這些任務(wù)間的關(guān)系一般是基于每個任務(wù)的訓練數(shù)據(jù)而進行評估的，對于從少量數(shù)據(jù)中快速學習每個連續(xù)任務(wù)為目標的終身學習來說，這個設(shè)定是效率低下的。為了減輕負擔，我們基于耦合詞典學習開發(fā)了一個終身強化學習方法，該耦合詞典學習將高階任務(wù)描述符合并到了任務(wù)間關(guān)系建模中。我們的結(jié)果表明，使用任務(wù)描述符能改善學習到的任務(wù)策略性能，既提供了我們方法有效的理論證明，又證明展示了在一系列動態(tài)控制問題上的進步。在只給描述符一個新任務(wù)的情況下，這一終身學習器也能夠通過 zero-shot 學習使用耦合詞典準確預測任務(wù)策略，不再需要在解決任務(wù)之前暫停收集訓練數(shù)據(jù)了。

1.引言

通過重新使用其他相關(guān)任務(wù)的知識，轉(zhuǎn)移和多任務(wù)學習（MTL）方法減少了獨立任務(wù)模型訓練所需要的經(jīng)驗量。

基于每個任務(wù)的訓練數(shù)據(jù)，這些技術(shù)一般通過對任務(wù)間關(guān)系建模來選擇相關(guān)遷移知識。然而，在知識成功遷移之前，這個過程要求針對每個識別關(guān)系的任務(wù)有足夠的訓練數(shù)據(jù)。只要有一個高階任務(wù)描述，人類能夠針對一個新任務(wù)快速創(chuàng)立引導程序，在真正的任務(wù)執(zhí)行之前調(diào)用以往的經(jīng)驗。例如在看到一款新的宜家椅子盒子圖片時，我們能馬上聯(lián)想到之前的組裝椅子的經(jīng)驗，然后開始思考該如何組裝這款椅子。同樣的，在給定質(zhì)量和長度的情況下，一個有經(jīng)驗的反轉(zhuǎn)極平衡agent可以能夠?qū)刂破鬟M行預測，且發(fā)生與物理系統(tǒng)交互之前。

受這個觀點啟發(fā)，我們探索利用高階的任務(wù)描述來提升多重機器學習任務(wù)中間的遷移效率。我們主要關(guān)注終身學習的場景，在這些場景中多重任務(wù)不斷進行且目標是通過前序知識快速學會新的任務(wù)。雖然我們在本文中重點關(guān)注的是強化學習（RL）任務(wù)，但是我們的方法也能容易擴展到回歸和分類問題上。

我們的算法——終身學習任務(wù)描述符（TaDeLL），將任務(wù)描述符編碼成特征矢量來識別每個任務(wù)，將這些矢量作為輔助信息來進一步對獨立任務(wù)進行數(shù)據(jù)訓練。這種使用任務(wù)特征來進行知識遷移在之前也有學者使用過。為了與他們的工作進行對比，我們的方法都是針對連續(xù)任務(wù)在線運行的，并且我們的方法計算效率更高。

我們使用耦合字典學習來對任務(wù)間的聯(lián)系進行建模，不僅有任務(wù)描述符，還有終身學習中的獨立任務(wù)政策。耦合字典學習執(zhí)行這樣的政策描述符相似的任務(wù)應(yīng)該有相似的政策，但是仍然允許字字典元素的自由準確地反映不同任務(wù)的政策。我們將字典耦合到互相關(guān)的稀疏編碼概念連接，提供了為什么任務(wù)描述符能提高性能的原因，并實證檢驗了這一改進理論依據(jù)。

為了進一步提升任務(wù)政策，我們提出任務(wù)標識符允許學習者在只給出它們的描述的情況下準確預測不明任務(wù)的政策，這個沒有數(shù)據(jù)的學習過程稱為zero-shot學習。在終身學習設(shè)定上這種能力十分重要，它允許系統(tǒng)通過遷移準確預測新任務(wù)政策，不需要在每個任務(wù)上暫停來收集數(shù)據(jù)。

2.相關(guān)工作

Batch MTL方法經(jīng)常在任務(wù)間對關(guān)系進行建模，來檢測知識的遷移。這些技術(shù)包括對任務(wù)距離度量進行建模，使用相關(guān)性來檢測遷移是否恰當，或者基于最近的領(lǐng)域來進行建模。最近，MTL已經(jīng)擴張到終身學習設(shè)定中，在這個范圍中衰減、分類與強化學習任務(wù)不斷進行。然而，所有的這些方法都需要針對每個任務(wù)的訓練數(shù)據(jù)，為了讀取他們的聯(lián)系然后檢測遷移的知識。

與僅僅單獨倚靠任務(wù)訓練數(shù)據(jù)不同，好幾個研究工作都已經(jīng)探索了在MTL中利用高階任務(wù)描述符來對任務(wù)間關(guān)系進行建模并遷移學習設(shè)定。結(jié)合神經(jīng)網(wǎng)絡(luò)任務(wù)標識符已經(jīng)被用來定義具體任務(wù)的前序或者控制獨立任務(wù)叢中間的門控網(wǎng)絡(luò)。本文主要關(guān)注批量設(shè)定下多重任務(wù)的分類和衰減，其中系統(tǒng)能夠訪問所有任務(wù)的數(shù)據(jù)和特征，將我們對于終身學習任務(wù)描述符的研究與連續(xù)RL任務(wù)進行對比。

與我們的工作相似，Sinapov等人使用任務(wù)描述符來預估每組遷移學習任務(wù)中的可遷移性。給定描述符一個新任務(wù)，他們識別出最有可能遷移的原始任務(wù)，然后在RL中使用原始任務(wù)。雖他們的方式有效，但是因為他們需要通過重復模擬來計算每組任務(wù)的遷移性，所以計算起來太過昂貴。他們的評估也只限制在遷移學習設(shè)定中，沒有考慮到連續(xù)任務(wù)遷移的影響，也沒有想我們在終身學習設(shè)定中一樣更新遷移模型。

我們的工作也與Romera-Paredes和Tor提出的簡單Zero-Shot學習（簡單ZSL）有關(guān)，它學會一個多類線性模型、分解線性模型參數(shù)、假設(shè)描述符是重構(gòu)模型的潛在基礎(chǔ)參數(shù)。

我們的方法假設(shè)了一個更加靈活的聯(lián)系：模型參數(shù)和任務(wù)描述符都能通過分來的潛在基礎(chǔ)參數(shù)進行重構(gòu)。與我們的終身學習方法相比，簡單的ZSL是在離線多類設(shè)定下操作的。

3.背景

3.1 強化學習

一個強化學習（RL）的agent必須在環(huán)境中選取序列行動來最大化預期回報。一個RL任務(wù)基本是按照Markov決策過程（MDP）來規(guī)劃的，即<X，A，P，R，r>。X是一系列狀態(tài)集，A是agent可能執(zhí)行的動作集，P：XxAxX?[0,1]是描述系統(tǒng)動態(tài)的狀態(tài)轉(zhuǎn)移可能性。R：XxAxX?R是回報函數(shù)，r? [0, 1)是隨著時間分配的回報。在事件步h上，agent在狀態(tài)xh?X通過政策π：XxA?[0,1]選擇行動a?A，通過矢量控制參數(shù)定義函數(shù)。強化學習的目的是發(fā)現(xiàn)最佳的政策π*和θ*來最大化預估回報。然而，學習一個獨立任務(wù)仍然需要大量的軌跡，這也激勵遷移來減少環(huán)境交流的數(shù)量。

政策梯度（PG）方法是我們的基礎(chǔ)學習方法，作為一系列RL算法被用來解決像機器控制等連續(xù)狀態(tài)和行動步高維問題。PG方法的目標是優(yōu)化預期平均回報：

 

3.2 終身機器學習

在終身學習設(shè)定中，學習者面臨多重、連續(xù)任務(wù)，且必須基于前序經(jīng)驗來快速學習每個任務(wù)。學習者可能會在任何時候遇到之前的任務(wù)，因此必須基于先前的任務(wù)優(yōu)化表現(xiàn)。Agent并不知道任務(wù)Tmax的總數(shù)、任務(wù)分布或者任務(wù)順序。

在時間t上，終身學習者會遇到任務(wù)Z(t)。在本文中，每個任務(wù)Zt由MDP<X^(t)，A^(t)，P^(t)，R^(t)，r^(t)>來定義，但是終身學習設(shè)定以及我們的方法能夠同等處理分類或者衰減任務(wù)。Agent將會連續(xù)學習每個任務(wù)，在轉(zhuǎn)至到下一個任務(wù)前獲取訓練數(shù)據(jù)。Agent的目標是學會相應(yīng)參數(shù)下的最佳政策。理想狀態(tài)下，從之前任務(wù)學習到的知識應(yīng)該能加速并提高每個新任務(wù)Z(t)的表現(xiàn)。同樣，終身學習者應(yīng)該能有效擴展到大量的任務(wù)上去，同時從最小的數(shù)據(jù)中快速學習每個任務(wù)。

有效終身學習算法（ELLA）和PG-ELLA是分別針對在終身學習設(shè)定中分類/衰減任務(wù)和RL任務(wù)設(shè)計的。

對于每個任務(wù)模型，兩種方法都假設(shè)了可以用共享知識庫L進行因式分解的參數(shù)，從而促進任務(wù)之間的傳遞。具體來說，任務(wù)Z (t)的模型參數(shù)由θ（t）=LS（t）給出，其中L Rdxk是整個模型空間的共享基準，且S（t） Rk是整個基準的稀疏系數(shù)。這種因式分解對于終身學習和多任務(wù)學習都是非常有效的。在這種設(shè)想下，PG的MTL目標是：

為了達到終身學習設(shè)置中的目標，Bou Ammar等人近似多任務(wù)目標，首先替代PG目標的下邊界，然后，使用second-order Taylor擴展到近似目標，評估每一個任務(wù)Z（t）中α（t）Rd的單任務(wù)策略參數(shù)，并且只在當前時間點更新系數(shù)s（t）。該進程減少了MTL對于稀疏編碼共享基準L上單任務(wù)策略問題的注意力，并確保通過下面組成PG-ELLA的在線更新規(guī)則，能夠有效的解決S和L。

盡管這對終身學習是非常的有效，但在學者解決它之前，該方法需要大量的訓練數(shù)據(jù)去評估每一個新方法的策略。我們通過將任務(wù)描述納入終身學習來消除這種限制，以確保 zero-shot 轉(zhuǎn)移到新的任務(wù)。

4.任務(wù)描述符

盡管大多數(shù)的MTL和終身學習方法使用了任務(wù)訓練數(shù)據(jù)模型的內(nèi)在任務(wù)關(guān)系，但高級描述能以完全不同的方式描述任務(wù)。例如，在多任務(wù)醫(yī)學領(lǐng)域，病人通常通過人口數(shù)據(jù)和疾病表現(xiàn)分配到任務(wù)中。在控制問題方面，動態(tài)系統(tǒng)參數(shù)（例如，彈簧-質(zhì)量阻尼器系統(tǒng)中的彈簧，質(zhì)量和阻尼常數(shù)）進行任務(wù)描述。描述也可以來自外部的來源，例如Wikipedia。這種任務(wù)描述已被廣泛的應(yīng)用于zero-shot學習。

通常，我們假設(shè)每一個任務(wù)Z（t）都有一個相關(guān)的描述符m（t）（在第一次介紹任務(wù)時給到了學者）。學者并不清楚未來的任務(wù)，或任務(wù)描述符的分配。描述符由特征向量?（m（t）Rdm表示，其中?（·）進行特征提取和（可能的）特征上的非線性基準變換。盡管在普遍的任務(wù)中都有不同的描述符，但我們沒有對?（m（t）的唯一性做任何假設(shè)。此外，每一個任務(wù)都有相關(guān)的訓練數(shù)據(jù)X（t）去學習模型；以防RL任務(wù)，數(shù)據(jù)由軌跡（通過代理在環(huán)境中的經(jīng)驗動態(tài)獲得）組成。

5.任務(wù)描述符的終身學習

我們通過耦合字典將任務(wù)描述符組合到終身學習中，確保描述符和學習策略去增強彼此。盡管集中于RL任務(wù)，但我們的方法可以很容易地適應(yīng)分類或回歸，如附錄中所述。

5.1耦合字典優(yōu)化

如上文所述，大多數(shù)的多任務(wù)和終身學習方法都有成功的案列——用因式分解每個任務(wù)的策略參數(shù)θ（t）來作為共享基準：θ（t）=Ls（t）的稀疏線性組合。在效率上，每一列共享基準L作為一個可重復使用的策略組件，代表一個銜接知識塊。在終身學習中，當系統(tǒng)學習到更多任務(wù)時，基準L隨著時間的推移而被精煉。系數(shù)向量S=[s（1）。。。。S（T）]在共享基準上編碼任務(wù)策略，并基于他們的策略如何分享知識，提供一個嵌入任務(wù)。

我們對于描述符任務(wù)做了相似的假設(shè)——描述符特征?（m（r））能夠通過使用描述符空間一個潛在的基準D Rdm×k進行線性分解。 系數(shù)是描述符基準的捕獲關(guān)系（基于他們描述符中的共性相似的嵌入任務(wù)）。從co-view視角看，兩種策略和描述符都提供了任務(wù)的信息，因此他們能夠互相交流學習。對于兩種觀點每一個基本的任務(wù)都是共同的，所以我們的任務(wù)是尋找嵌入策略和相應(yīng)的任務(wù)描述符。我們可以通過耦合兩個基準L和D來實現(xiàn)，共享相同的系數(shù)向量S重建策略和描述符。因此對于任務(wù)Z（t）

為了在終身學習過程中優(yōu)化耦合基準L和D，我們采用了來自稀疏編碼文獻中的耦合字典優(yōu)化技術(shù)，它用于優(yōu)化多特征空間（共享一個聯(lián)合稀疏代表）的字典。耦合字典學習的概念，引出了高性能的圖像超分辨率算法，允許高分辨率圖像從低分辨率的樣品中重建，并用于多模態(tài)檢索，和跨域檢索。

 

等式6中給出了因式分解，我們可以重新制定對于耦合詞典的多任務(wù)目標（公式1）如：

隨著算法1中給出一系列前期-任務(wù)的更新結(jié)果，該目標現(xiàn)在可以有效地在網(wǎng)上解決。伴著基于特征值分解的遞歸構(gòu)造，L和D使用等式3-5獨自更新。我們完整實現(xiàn)的方法，在第三方網(wǎng)站上面是可用的。

5.2 Zero-shot轉(zhuǎn)移學習

在終身設(shè)置中，面對新任務(wù)時，代理的目標是盡快的學習針對任務(wù)有效的策略。在這個階段，前期的多任務(wù)和終身學者，在他們能產(chǎn)生一個恰當?shù)牟呗灾鞍l(fā)生了延遲，因為他們需要從新任務(wù)中獲得數(shù)據(jù)，以便識別相關(guān)的知識和訓練新的策略。

結(jié)合任務(wù)描述符，僅給出描述符，以確保我們的方法快速預測針對新任務(wù)的策略。進行zero-shot轉(zhuǎn)移的操作是通過使用耦合字典學習來確保的，它允許我們在一個特征空間（例如任務(wù)描述符）觀察數(shù)據(jù)實例，并利用字典和稀疏編碼，在其它的特征空間中（例如策略參數(shù)）恢復其潛在的信號。

對于新任務(wù)Z（tnew）給出唯一的描述符m（tnew），我們可以在學習字典D中潛在的描述符空間路徑 LASSO上評估任務(wù)的嵌入：

由于S（tnew）給出的評估同樣也作為潛在策略空間L的系數(shù)，我們可以快速預測新任務(wù)的策略如：

                               

算法2中給出了該zero-shot轉(zhuǎn)移學習的過程。

5.3理論分析

本節(jié)討論了為什么通過耦合字典組合任務(wù)描述符可以提升學習策略的性能，并確保zero-shot轉(zhuǎn)移到新任務(wù)。在附錄2中，我們提供了TaDeLL的集合。全樣本的復雜性分析超出了論文的范圍，事實上，對于zero-shot學習，它仍然是一個開放的問題。

為了分析策略的改善程度，從策略參數(shù)分解成θ（t）=Ls（t）時，我們就通過展示用耦合字典組合描述符可以提高L和S兩者的性能而繼續(xù)實驗。在本分析中，我們使用了互相關(guān)（mutual coherence）的概念，它在稀疏恢復文學中早已被廣泛研究?；ハ嚓P(guān)測量字典元素的相關(guān)性如：

如果M（Q）=0，那么Q是可逆的正交矩陣，且稀疏恢復可以直接通過反演解決；如果M（Q）=1意味著Q不是滿秩，是一個低劣的字典。直觀的說，低互相關(guān)意味著字典的縱列非常的不同，因此這樣一個“優(yōu)良”的字典可以代表很多不同的策略，有可能得到更多的知識轉(zhuǎn)移。這種直覺在下面被展示出：

因此，相互一致性較低的L會引出更穩(wěn)定的方法用于解決不準確的單項任務(wù)評估策略。接下來我們會運用方法降低L的相互一致性。

TaDeLL改變了從訓練L到訓練L和D的聯(lián)合（包括在K中）的問題。在稀疏修復理論中，s*(t)是任務(wù)Z(t)中公式1的解決策略，所以s*(t)在所有的任務(wù)中都保持不變。定理5.1暗示，如果M(K) ＜M(L)，那么聯(lián)合模式學習能幫助解決更準確地修復問題。為進一步證明，從貝葉斯定理（Bayesian）的角度來看，公式7也一樣是MAP評估的衍生，加強了拉普拉斯算子(Laplacian)在s(t)’s和分布和假設(shè)L是一個高斯矩陣并且其原素都是獨立分布的。使用此類公式作為M(L)和M(K)的評價標準，因為新加的任務(wù)描述增加了d，大部分可能是M(K) ＜M(L)，這也暗示TdDeLL學會了較高級的自編代碼。而且，如果M(D) ≤M(L)，定義表明我們可以通過零射門遷移單獨使用D去修復任務(wù)政策。

為表示任務(wù)特征能提高稀疏修復，我們通過以下關(guān)于LASSO的定理5.2進行證明。讓s*是θ=Qs系統(tǒng)的一個特殊解決方法。

這一定理表明LASSO的錯誤重建是與1/d是成正比的。當我們通過β（t）包含描述器時，RHS的共同特性會從d變成（d+dm）,但與此同時K和k保持不變，由此產(chǎn)生了緊密的配合。因此任務(wù)描述能提高已學習過的代碼編碼的質(zhì)量和稀疏修復的準確度。通過使用策略或是描述器保證是s(t)相等的緊密配合，定理5.2建議應(yīng)該dm≥d，以保證零樣本學習同樣也能生產(chǎn)出對于s(t)相同的評價。

6.實驗

我們基于3個基準系統(tǒng)對我們的方法和學習控制策略進行評估。

6.1 基準動力系統(tǒng)

彈簧質(zhì)量減震器（SM）。這一系統(tǒng)通過3個參數(shù)來進行描述：彈簧常數(shù)，質(zhì)量，和減幅常數(shù)。系統(tǒng)的狀態(tài)是由物體的位置和速率決定的?？刂破鲿ㄟ^對物體施加一個力量，試圖把它放到一個指定的位置。

車桿（BM）。這一系統(tǒng)專注于在水平面上以固定的速率移動時，要保持自行車的平穩(wěn)。系統(tǒng)的特點在于自行車的質(zhì)量，x和z坐標的質(zhì)量中心，有關(guān)自行車的形狀參數(shù)（軸距，步道，和頭上的角）。其狀態(tài)是自行車的傾斜程度以及其他衍生狀態(tài)。

6.2 方法

在每一個域名我們會產(chǎn)生40個任務(wù)，每一個的動力都不一樣，系統(tǒng)參數(shù)也不一樣。每一個任務(wù)的回饋是當前狀態(tài)和目標之間的差距。對于終身學習，任務(wù)會不斷遇見重復，學習也會不斷進行直到每一個任務(wù)至少遇見過一次。在不同的方法之間我們使用相同順序的隨機任務(wù)，以保證比較的公正。學習者會取樣100個步驟軌跡，而且每一個任務(wù)展示之中其學習過程限制在30次迭代之內(nèi)。MTL之中，所有的任務(wù)都是同時進行呈現(xiàn)的。我們使用自然策略梯度估計NAC（Natural Actor Critic）作為基礎(chǔ)，學習標準系統(tǒng)和情節(jié)加強。為在每一個域名之內(nèi)優(yōu)化所有方法在20個任務(wù)上的聯(lián)合表現(xiàn)并平衡描述器和策略之間，我們分別選擇了k和規(guī)定化參數(shù)參數(shù)?；?0個任務(wù)的最終策略，我們會對學習曲線進行評價，會把7個測試的結(jié)果進行平均。每一個任務(wù)的系統(tǒng)參數(shù)會看做是任務(wù)描述器的特征；我們同時也會試著把一些非線性轉(zhuǎn)變，但發(fā)現(xiàn)使用線性特征也運作良好。

6.3 基于標準系統(tǒng)的結(jié)果

圖1比較了我們用于終身學習的TaDeLL方法并帶有任務(wù)描述器。1.PG-ELLA并未使用任務(wù)特征。2.GO-MTL，其中MTL對公式1有進行優(yōu)化。3.單一任務(wù)學習使用PG。為進行比較，我們通過改變優(yōu)化，使用MTL對公式7進行優(yōu)化，并把結(jié)果描述為TaDeMTL。在圖中陰影暗示著標準錯誤。

我們發(fā)現(xiàn)在每一個系統(tǒng)中任務(wù)描述器都能改進終身學習，即使是在SM和BK域名內(nèi)通過GO-MTL僅從經(jīng)驗中無法獲得訓練策略情況下，也能提高學習。

圖1：基于標準動力系統(tǒng)多任務(wù)（實心線）                                                圖2：運行時間比較

終身（虛線），和單一任務(wù)學習（點線）的表現(xiàn)。

圖3：新任務(wù)的零樣本遷移。圖（a）顯示的是在每一個域名的最初“強力啟動”的提高；圖（b）-（d）描述了零樣本策略作為用于PG啟動熱身地初始化的結(jié)果。

在所有的域名內(nèi)TaDeMTL和TaDeLL 之間的區(qū)別幾乎可以忽略，除CD之外（其任務(wù)十分復雜），這也暗示我們在線優(yōu)化的有效性。

圖3展示了任務(wù)描述器對用于新任務(wù)的零樣本遷移十分有效。在每一個域名內(nèi)為檢測零樣本的表現(xiàn)，另外生成了40個任務(wù)，并對這些任務(wù)的結(jié)果進行平均。圖3a顯示了我們的方法改進了在新任務(wù)中的最初表現(xiàn)（例如，“強力啟動”），而這也超越了Sinapov等人的方法表現(xiàn)以及單一任務(wù)的PG，但這一方法允許在任務(wù)中進行訓練。我們把Sinapov等人的方法在CP上的差表現(xiàn)歸因于CP策略本質(zhì)上相差很大；在域名內(nèi)，源策略與目標策略相差很大，Sinapov等人的算法不能較好地將其源策略進行遷移。此外此方法的計算費用與我們的方法（與任務(wù)數(shù)一致）相比也十分的昂貴（是任務(wù)數(shù)的兩倍），如圖2；運行時間的試驗細節(jié)可見附錄。圖3b-3d顯示了零樣本策略用于PG學習的最初啟動熱身十分的有效，緊接著這也會改進其策略。

6.4 四旋翼的應(yīng)用

我們也會把這一方法運用于更具挑戰(zhàn)性的四旋翼控制域名，關(guān)注重點在于把零樣本遷移運用于新的任務(wù)。為確?，F(xiàn)實的動力，我們使用Bouadallah和Siegwart模式，此類模式都是經(jīng)過物理系統(tǒng)證實的。四旋翼是由3個慣性常數(shù)和機翼長度決定的，且其狀態(tài)包括橫搖、俯仰和偏航以及其他衍生狀態(tài)。

圖4：在四旋翼控制上的啟動熱身

圖4顯示的我們運用的結(jié)果，展示了TaDeLL能通過零樣本學習預測新四旋翼控制器，且其準確度與PG相似，但PG必須在系統(tǒng)中進行訓練。作為基準，TaDeLL對于PG的熱身啟動十分有效。

7.結(jié)論

在把任務(wù)描述器融入終身學習中建議使用聯(lián)合代碼字典的方法，因為使用描述器能提高已學的策略表現(xiàn)，同時也能讓我們在觀察訓練數(shù)據(jù)之前就能預測用于新任務(wù)的策略。在動力控制問題上，試驗顯示我們的方法比其他方法表現(xiàn)更為出色，并且要求的運行時間也比類似模式的要少。

點評：

人類組裝一款新的椅子時，通常借助以往的組裝經(jīng)驗完成新椅子的組裝，因而，在學習新任務(wù)的控制策略時，往往希望借鑒其他任務(wù)的學習經(jīng)驗，即任務(wù)間的信息傳遞，來改進學習效果。任務(wù)之間的信息傳遞有助于改善學習的性能，但通常需要對任務(wù)間的聯(lián)系進行精確估計，才能識別要傳遞的相關(guān)信息，而這些精確估計一般要基于每個任務(wù)的訓練數(shù)據(jù)，而長期學習（lifelong learning）的目標是利用盡可能少的數(shù)據(jù)來快速地學習連續(xù)的不同任務(wù)的策略，這種情況下，這種依靠精確估計任務(wù)間的聯(lián)系的方法就不可取了，因為每個任務(wù)沒有那么多訓練數(shù)據(jù)，為此，該文利用任務(wù)描述符（task descriptor）來建模任務(wù)間的聯(lián)系，并利用耦合字典優(yōu)化的方法改進相繼任務(wù)策略的學習效果；此外，該方法在沒有任何新任務(wù)訓練數(shù)據(jù)的情況下也可以預測新任務(wù)的策略。

via IJCAI 2016

PS : 本文由雷鋒網(wǎng)獨家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。