0
雷鋒網(wǎng) AI科技評論消息，日前，Google Research Blog 推出開源 Python 庫“Tangent”。據(jù)介紹，這個庫與現(xiàn)有的機器學習庫相比，存在諸多優(yōu)勢，可以大大改善了用戶的使用體驗。
雷鋒網(wǎng) AI科技評論編譯整理如下：
Tangent 是一個全新的免費開源 Python 庫，可以用于自動微分。與其他現(xiàn)有的機器學習庫相比，Tangent屬于源到源（source-to-source）系統(tǒng)，可以用 Python f 函數(shù)調(diào)用新的 Python 函數(shù)，計算出 f 的梯度。對用戶來說，這大大改善了梯度計算的可見性，更易于編輯和調(diào)試。當調(diào)試和設(shè)計機器學習模型時，Tangent 增加了許多新功能:
易于調(diào)試反向傳遞（backward pass）
快速進行梯度surgery
前向模式自動微分
高效的Hessian-vector product
代碼優(yōu)化
本文概述了Tangent API接口，包括如何使用Tangent 來生成易于解釋、調(diào)試和修改的Python梯度代碼。
在圖像、視頻、音頻和文本機器學習模型中，神經(jīng)網(wǎng)絡(luò)(NNs)的出現(xiàn)帶來了巨大的進步。其實在這些任務(wù)中，訓練神經(jīng)網(wǎng)絡(luò)的基本概念已經(jīng)存在30年了，我們通常稱之為反向模式自動微分（reverse-mode automatic differentiation）或者反向傳播（backpropagation）。它包括在神經(jīng)網(wǎng)絡(luò)中的兩次傳遞：首先運行“前向傳遞（forward pass）”來計算每個節(jié)點的輸出值，然后再運行“反向傳遞”來計算一系列的導數(shù)，從而確定如何更新權(quán)重，以提高模型的準確度。
在訓練神經(jīng)網(wǎng)絡(luò)、研究新的架構(gòu)的過程中，我們要能正確、高效、輕松地計算出導數(shù)值。此外，當模型還沒訓練好或者想要構(gòu)建一些連自己都不太理解的新東西時，也要能夠調(diào)試這些導數(shù)。自動微分也稱為“autodiff”，是一種計算電腦程序?qū)?shù)（數(shù)學上的函數(shù)）的技術(shù)，幾乎所有的機器學習庫都會用到它。
現(xiàn)有的庫通過跟蹤程序的執(zhí)行過程來實現(xiàn)自動微分（如 TF Eager, PyTorch 和 Autograd），或者通過構(gòu)建動態(tài)數(shù)據(jù)流圖來進行微分(如 TensorFlow)。與此相反， Tangent 可以通過 Python 源代碼提前自動微分，還可以生成Python源代碼作為輸出。
因此，你最終能像讀取程序的剩余部分一樣讀取自動微分代碼。對那些既想用 Python 編寫模型，又想在讀取和調(diào)試自動微分代碼時不犧牲速度和靈活性的研究人員和學生來說，Tangent 非常有用。
在Tangent 中構(gòu)建模型不需要特殊的工具或間接方法，非常易于檢查和調(diào)試。Tangent 基于一個非常大并且正在增長的 Python 子集，能支持其他 Python 深度學習庫所不具備的自動微分特性，性能高效，并能與 TensorFlow 和 NumPy 兼容。
Python代碼自動微分
如何自動生成Python代碼的導數(shù)? 像 tf.exp 和 tf.log 這些數(shù)學函數(shù)已經(jīng)含有能幫助我們建立反向傳遞的導數(shù)了，同樣，子程序、條件和循環(huán)等句段也具有反向傳遞版本。Tangent 支持為每個 Python 句法生成導數(shù)代碼，也能調(diào)用許多 NumPy 和 TensorFlow 函數(shù)。
Tangent 具備單一功能 API：
下面是一張動圖，它描述了調(diào)用 tangent.grad 之后執(zhí)行的操作。
可以運行如下代碼輸出求導結(jié)果：
執(zhí)行命令后，tangent.grad 首先抓取傳來的 Python 函數(shù)源代碼。Tangent 有一個龐大的 Python 句法求導方法庫，類似于 TensorFlow Eager 函數(shù)。然后，tangent.grad 函數(shù)會反向走查代碼，查找匹配的反向傳遞方法，并將其添加到導函數(shù)的末尾。這種反序處理過程所用的技術(shù)就叫反向模式自動微分（reverse-mode automatic differentiation）。
上面的 df 函數(shù)只適用于標量(非數(shù)組)輸入。Tangent 也支持以下功能：
使用 TensorFlow Eager 函數(shù)處理陣列
子程序
控制流
雖然一開始就能利用 TensorFlow Eager，但 Tangent 并沒有與數(shù)值庫相關(guān)聯(lián)，我們也很樂意看到 PyTorch 或 MXNet 求導方法的添加請求。
下一步
Tangent現(xiàn)在已經(jīng)在github.com/google/tangent開源了，大家可以點擊下載，按照說明安裝。因為仍在實驗階段，所以難免有一些 bug。如果大家發(fā)現(xiàn)了 bug 并在 GitHub 上說明，我們會盡快解決。
我們正從 Python 的多個層面為 Tangent 提供支持(例如閉包、內(nèi)聯(lián)函數(shù)定義、類、更多的 NumPy 和 TensorFlow 函數(shù))。我們還希望在未來添加更高級的自動微分和編譯器功能，比如在內(nèi)存和計算之間自動平衡(Griewank and Walther 2000；Gruslys et al., 2016)、更高效的優(yōu)化、lambda lifting等。
我們希望能將Tangent社群發(fā)展壯大，歡迎大家踴躍提出修補和新特性的方面的需求。
雷鋒網(wǎng) AI科技評論編譯整理。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
