雷鋒網(wǎng) AI 科技評(píng)論按，AZohar Komarovsky，Taboola 算法工程師，致力于研究推薦系統(tǒng)相關(guān)的機(jī)器學(xué)習(xí)應(yīng)用程序。不久前他分享了最近一年關(guān)于多任務(wù)深度學(xué)習(xí)的研究經(jīng)驗(yàn)。雷鋒網(wǎng) AI 科技評(píng)論編譯整理如下：

在過(guò)去的一年里，我和我的團(tuán)隊(duì)一直致力于提高 Taboola Feed 的個(gè)性化用戶體驗(yàn)。我們使用多任務(wù)學(xué)習(xí)（MTL）來(lái)預(yù)測(cè)同一組輸入特性上的多個(gè)關(guān)鍵性能指標(biāo)（KPIs），并在 TensorFlow 中實(shí)現(xiàn)了一個(gè)深度學(xué)習(xí)（DL）模型。但是，在我們開(kāi)始著手這項(xiàng)研究的時(shí)候，MTL 對(duì)我們來(lái)說(shuō)比現(xiàn)在復(fù)雜得多，所以我想分享一些經(jīng)驗(yàn)教訓(xùn)。

在本文中，我將分享一些在神經(jīng)網(wǎng)絡(luò)（NN）中實(shí)現(xiàn) MTL 時(shí)具體需要考慮哪些方面的問(wèn)題，我還將對(duì)這些問(wèn)題提出簡(jiǎn)單的 TensorFlow 解決方案。

我們想從硬參數(shù)共享（hard parameter sharing）的基本方法開(kāi)始。硬共享意味著我們有一個(gè)共享子網(wǎng)，這個(gè)子網(wǎng)是特定于任務(wù)的。

在 TensorFlow 中使用這種模型時(shí)，由于它看起來(lái)與其他 NN 體系結(jié)構(gòu)沒(méi)有那么大的不同，您可能會(huì)覺(jué)得自己有哪里做錯(cuò)了。雷鋒網(wǎng)

經(jīng)驗(yàn) 1-損失合并

我們?cè)?MTL 模型中遇到的第一個(gè)挑戰(zhàn)是為多個(gè)任務(wù)定義單個(gè)損失函數(shù)。雖然單個(gè)任務(wù)有定義明確的損失函數(shù)，但多個(gè)任務(wù)會(huì)帶來(lái)多個(gè)損失。

我們最開(kāi)始嘗試的做法是直接將所有的損失相加。不久我們就發(fā)現(xiàn)，當(dāng)一個(gè)任務(wù)趨同于好的結(jié)果時(shí)，其他任務(wù)看起來(lái)相當(dāng)糟糕。造成這個(gè)現(xiàn)象的原因很簡(jiǎn)單，因?yàn)閾p失的規(guī)模是如此的不同，以至于一個(gè)任務(wù)主導(dǎo)了整個(gè)損失，而其余的任務(wù)沒(méi)有機(jī)會(huì)影響共享層的學(xué)習(xí)過(guò)程。

一個(gè)快速的解決辦法是用一個(gè)加權(quán)和替代損失的直接相加和，使所有的損失對(duì)共享層的影響大致相同。然而，這個(gè)解決方案涉及另一個(gè)超參數(shù)，可能需要每隔一段時(shí)間調(diào)整一次。

幸運(yùn)的是，我們發(fā)現(xiàn)了一篇很棒的論文，論文建議使用不確定性來(lái)衡量 MTL 中的損失。具體方法是學(xué)習(xí)另一個(gè)噪聲參數(shù)，該參數(shù)集成在每個(gè)任務(wù)的損失函數(shù)中。這允許 MTL 中有多個(gè)任務(wù)，并使所有損失達(dá)到相同的規(guī)模。

通過(guò)這種方法，不僅可以得到比加權(quán)和更好的結(jié)果，而且不需要考慮附加的權(quán)重超參數(shù)。這篇論文的作者還提供了一個(gè) keras 實(shí)現(xiàn)方法。

經(jīng)驗(yàn) 2-調(diào)整學(xué)習(xí)速率

學(xué)習(xí)速率是調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)最重要的超參數(shù)之一，這是一個(gè)常見(jiàn)的規(guī)律。所以我們嘗試了調(diào)優(yōu)，發(fā)現(xiàn)了對(duì)不同任務(wù)來(lái)說(shuō)最優(yōu)的調(diào)試速率。選擇較高的學(xué)習(xí)率會(huì)導(dǎo)致其中一個(gè)任務(wù)的 dying Relu，而使用較低的學(xué)習(xí)率會(huì)導(dǎo)致另一個(gè)任務(wù)的收斂緩慢。那我們?cè)撛趺崔k？我們可以讓每個(gè)特定于任務(wù)的子網(wǎng)調(diào)整為單獨(dú)的學(xué)習(xí)速率，并將共享子網(wǎng)調(diào)整為另一個(gè)速率。

雖然這聽(tīng)起來(lái)很復(fù)雜，但實(shí)際上相當(dāng)簡(jiǎn)單。通常，在 TensorFlow 中訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，您可以使用如下方法：

optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss)

AdamOptimizer 定義了應(yīng)該如何應(yīng)用漸變，并最小化計(jì)算并應(yīng)用它們。我們可以用自己的實(shí)現(xiàn)來(lái)代替最小化，該實(shí)現(xiàn)將對(duì)計(jì)算圖中的每個(gè)變量使用適當(dāng)?shù)膶W(xué)習(xí)速率：

all_variables = shared_vars + a_vars + b_vars
all_gradients = tf.gradients(loss, all_variables)

shared_subnet_gradients = all_gradients[:len(shared_vars)]
a_gradients = all_gradients[len(shared_vars):len(shared_vars + a_vars)]
b_gradients = all_gradients[len(shared_vars + a_vars):]

shared_subnet_optimizer = tf.train.AdamOptimizer(shared_learning_rate)
a_optimizer = tf.train.AdamOptimizer(a_learning_rate)
b_optimizer = tf.train.AdamOptimizer(b_learning_rate)

train_shared_op = shared_subnet_optimizer.apply_gradients(zip(shared_subnet_gradients, shared_vars))
train_a_op = a_optimizer.apply_gradients(zip(a_gradients, a_vars))
train_b_op = b_optimizer.apply_gradients(zip(b_gradients, b_vars))

train_op = tf.group(train_shared_op, train_a_op, train_b_op)

另外，這個(gè)技巧實(shí)際上也可以應(yīng)用于單任務(wù)網(wǎng)絡(luò)。

經(jīng)驗(yàn) 3-使用評(píng)估作為特征

一旦我們通過(guò)了創(chuàng)建預(yù)測(cè)多個(gè)任務(wù)的 NN 的第一個(gè)階段，我們可能會(huì)將某個(gè)任務(wù)的評(píng)估作為另一個(gè)任務(wù)的結(jié)果。這個(gè)估計(jì)是張量，所以我們可以像連接其他層的輸出一樣連接它。但是在反向傳播中會(huì)發(fā)生什么呢？

假設(shè)任務(wù) A 的估計(jì)值作為一個(gè)特性傳遞給任務(wù) B。我們可能并不想將梯度從任務(wù) B 傳回任務(wù) A，因?yàn)槲覀円呀?jīng)給了任務(wù) A 標(biāo)簽。

別擔(dān)心，TensorFlow 的 API 有 tf.stop_gradient，它正是為了解決這個(gè)問(wèn)題而存在的。當(dāng)計(jì)算梯度時(shí)，它可以讓你傳遞一個(gè)張量列表，你想把它當(dāng)作常數(shù)，這正是我們所需要的。

all_gradients = tf.gradients(loss, all_variables, stop_gradients=stop_tensors)

同樣地，這在 MTL 網(wǎng)絡(luò)中很有用，但它不僅僅在 MTL 網(wǎng)絡(luò)中有用。只要您想用 TensorFlow 計(jì)算一個(gè)值，并且需要假設(shè)該值是一個(gè)常量，就可以使用此技術(shù)。例如，當(dāng)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)（GANs）時(shí)，您不希望在生成對(duì)抗性網(wǎng)絡(luò)的過(guò)程中進(jìn)行反向傳播。

via：https://engineering.taboola.com/deep-multi-task-learning-3-lessons-learned/

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。