雷鋒網(wǎng)按：本文作者xyzh，本文整理自作者在知乎問(wèn)題《各種機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景分別是什么？》下的回答， 雷鋒網(wǎng)獲其授權(quán)發(fā)布。

關(guān)于這個(gè)問(wèn)題我今天正好看到了這個(gè)文章，講的正是各個(gè)算法的優(yōu)劣分析，很中肯。

正好14年的時(shí)候有人做過(guò)一個(gè)實(shí)驗(yàn)[1]，比較在不同數(shù)據(jù)集上（121個(gè)），不同的分類器（179個(gè)）的實(shí)際效果。

論文題為：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?

實(shí)驗(yàn)時(shí)間有點(diǎn)早，我嘗試著結(jié)合我自己的理解、一些最近的實(shí)驗(yàn)，來(lái)談一談吧。主要針對(duì)分類器(Classifier)。

寫給懶得看的人：

沒有最好的分類器，只有最合適的分類器。

隨機(jī)森林平均來(lái)說(shuō)最強(qiáng)，但也只在9.9%的數(shù)據(jù)集上拿到了第一，優(yōu)點(diǎn)是鮮有短板。

SVM的平均水平緊隨其后，在10.7%的數(shù)據(jù)集上拿到第一。

神經(jīng)網(wǎng)絡(luò)（13.2%）和boosting（~9%）表現(xiàn)不錯(cuò)。

數(shù)據(jù)維度越高，隨機(jī)森林就比AdaBoost強(qiáng)越多，但是整體不及SVM[2]。

數(shù)據(jù)量越大，神經(jīng)網(wǎng)絡(luò)就越強(qiáng)。

近鄰 (Nearest Neighbor)

典型的例子是KNN，它的思路就是——對(duì)于待判斷的點(diǎn)，找到離它最近的幾個(gè)數(shù)據(jù)點(diǎn)，根據(jù)它們的類型決定待判斷點(diǎn)的類型。

它的特點(diǎn)是完全跟著數(shù)據(jù)走，沒有數(shù)學(xué)模型可言。

適用情景：

需要一個(gè)特別容易解釋的模型的時(shí)候。

比如需要向用戶解釋原因的推薦算法。

貝葉斯 (Bayesian)

典型的例子是Naive Bayes，核心思路是根據(jù)條件概率計(jì)算待判斷點(diǎn)的類型。

是相對(duì)容易理解的一個(gè)模型，至今依然被垃圾郵件過(guò)濾器使用。

適用情景：

需要一個(gè)比較容易解釋，而且不同維度之間相關(guān)性較小的模型的時(shí)候。

可以高效處理高維數(shù)據(jù)，雖然結(jié)果可能不盡如人意。

決策樹 (Decision tree)

決策樹的特點(diǎn)是它總是在沿著特征做切分。隨著層層遞進(jìn)，這個(gè)劃分會(huì)越來(lái)越細(xì)。

雖然生成的樹不容易給用戶看，但是數(shù)據(jù)分析的時(shí)候，通過(guò)觀察樹的上層結(jié)構(gòu)，能夠?qū)Ψ诸惼鞯暮诵乃悸酚幸粋€(gè)直觀的感受。

舉個(gè)簡(jiǎn)單的例子，當(dāng)我們預(yù)測(cè)一個(gè)孩子的身高的時(shí)候，決策樹的第一層可能是這個(gè)孩子的性別。男生走左邊的樹進(jìn)行進(jìn)一步預(yù)測(cè)，女生則走右邊的樹。這就說(shuō)明性別對(duì)身高有很強(qiáng)的影響。

適用情景：

因?yàn)樗軌蛏汕逦幕谔卣?feature)選擇不同預(yù)測(cè)結(jié)果的樹狀結(jié)構(gòu)，數(shù)據(jù)分析師希望更好的理解手上的數(shù)據(jù)的時(shí)候往往可以使用決策樹。

同時(shí)它也是相對(duì)容易被攻擊的分類器[3]。這里的攻擊是指人為的改變一些特征，使得分類器判斷錯(cuò)誤。常見于垃圾郵件躲避檢測(cè)中。因?yàn)闆Q策樹最終在底層判斷是基于單個(gè)條件的，攻擊者往往只需要改變很少的特征就可以逃過(guò)監(jiān)測(cè)。

受限于它的簡(jiǎn)單性，決策樹更大的用處是作為一些更有用的算法的基石。

隨機(jī)森林 (Random forest)

提到?jīng)Q策樹就不得不提隨機(jī)森林。顧名思義，森林就是很多樹。

嚴(yán)格來(lái)說(shuō)，隨機(jī)森林其實(shí)算是一種集成算法。它首先隨機(jī)選取不同的特征(feature)和訓(xùn)練樣本(training sample)，生成大量的決策樹，然后綜合這些決策樹的結(jié)果來(lái)進(jìn)行最終的分類。

隨機(jī)森林在現(xiàn)實(shí)分析中被大量使用，它相對(duì)于決策樹，在準(zhǔn)確性上有了很大的提升，同時(shí)一定程度上改善了決策樹容易被攻擊的特點(diǎn)。

適用情景：

數(shù)據(jù)維度相對(duì)低（幾十維），同時(shí)對(duì)準(zhǔn)確性有較高要求時(shí)。

因?yàn)椴恍枰芏鄥?shù)調(diào)整就可以達(dá)到不錯(cuò)的效果，基本上不知道用什么方法的時(shí)候都可以先試一下隨機(jī)森林。

SVM (Support vector machine)

SVM的核心思想就是找到不同類別之間的分界面，使得兩類樣本盡量落在面的兩邊，而且離分界面盡量遠(yuǎn)。

最早的SVM是平面的，局限很大。但是利用核函數(shù)(kernel function)，我們可以把平面投射(mapping)成曲面，進(jìn)而大大提高SVM的適用范圍。

提高之后的SVM同樣被大量使用，在實(shí)際分類中展現(xiàn)了很優(yōu)秀的正確率。

適用情景：

SVM在很多數(shù)據(jù)集上都有優(yōu)秀的表現(xiàn)。

相對(duì)來(lái)說(shuō)，SVM盡量保持與樣本間距離的性質(zhì)導(dǎo)致它抗攻擊的能力更強(qiáng)。

和隨機(jī)森林一樣，這也是一個(gè)拿到數(shù)據(jù)就可以先嘗試一下的算法。

邏輯斯蒂回歸 (Logistic regression)

邏輯斯蒂回歸這個(gè)名字太詭異了，我就叫它LR吧，反正討論的是分類器，也沒有別的方法叫LR。顧名思義，它其實(shí)是回歸類方法的一個(gè)變體。

回歸方法的核心就是為函數(shù)找到最合適的參數(shù)，使得函數(shù)的值和樣本的值最接近。例如線性回歸(Linear regression)就是對(duì)于函數(shù)f(x)=ax+b，找到最合適的a,b。

LR擬合的就不是線性函數(shù)了，它擬合的是一個(gè)概率學(xué)中的函數(shù)，f(x)的值這時(shí)候就反映了樣本屬于這個(gè)類的概率。

適用情景：

LR同樣是很多分類算法的基礎(chǔ)組件，它的好處是輸出值自然地落在0到1之間，并且有概率意義。

因?yàn)樗举|(zhì)上是一個(gè)線性的分類器，所以處理不好特征之間相關(guān)的情況。

雖然效果一般，卻勝在模型清晰，背后的概率學(xué)經(jīng)得住推敲。它擬合出來(lái)的參數(shù)就代表了每一個(gè)特征(feature)對(duì)結(jié)果的影響。也是一個(gè)理解數(shù)據(jù)的好工具。

判別分析 (Discriminant analysis)

判別分析主要是統(tǒng)計(jì)那邊在用，所以我也不是很熟悉，臨時(shí)找統(tǒng)計(jì)系的閨蜜補(bǔ)了補(bǔ)課。這里就現(xiàn)學(xué)現(xiàn)賣了。

判別分析的典型例子是線性判別分析(Linear discriminant analysis)，簡(jiǎn)稱LDA。

（這里注意不要和隱含狄利克雷分布(Latent Dirichlet allocation)弄混，雖然都叫LDA但說(shuō)的不是一件事。）

LDA的核心思想是把高維的樣本投射(project)到低維上，如果要分成兩類，就投射到一維。要分三類就投射到二維平面上。這樣的投射當(dāng)然有很多種不同的方式，LDA投射的標(biāo)準(zhǔn)就是讓同類的樣本盡量靠近，而不同類的盡量分開。對(duì)于未來(lái)要預(yù)測(cè)的樣本，用同樣的方式投射之后就可以輕易地分辨類別了。

使用情景：

判別分析適用于高維數(shù)據(jù)需要降維的情況，自帶降維功能使得我們能方便地觀察樣本分布。它的正確性有數(shù)學(xué)公式可以證明，所以同樣是很經(jīng)得住推敲的方式。

但是它的分類準(zhǔn)確率往往不是很高，所以不是統(tǒng)計(jì)系的人就把它作為降維工具用吧。

同時(shí)注意它是假定樣本成正態(tài)分布的，所以那種同心圓形的數(shù)據(jù)就不要嘗試了。

神經(jīng)網(wǎng)絡(luò) (Neural network)

神經(jīng)網(wǎng)絡(luò)現(xiàn)在是火得不行啊。它的核心思路是利用訓(xùn)練樣本(training sample)來(lái)逐漸地完善參數(shù)。還是舉個(gè)例子預(yù)測(cè)身高的例子，如果輸入的特征中有一個(gè)是性別（1:男；0:女），而輸出的特征是身高（1:高；0:矮）。那么當(dāng)訓(xùn)練樣本是一個(gè)個(gè)子高的男生的時(shí)候，在神經(jīng)網(wǎng)絡(luò)中，從“男”到“高”的路線就會(huì)被強(qiáng)化。同理，如果來(lái)了一個(gè)個(gè)子高的女生，那從“女”到“高”的路線就會(huì)被強(qiáng)化。

最終神經(jīng)網(wǎng)絡(luò)的哪些路線比較強(qiáng)，就由我們的樣本所決定。

神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于，它可以有很多很多層。如果輸入輸出是直接連接的，那它和LR就沒有什么區(qū)別。但是通過(guò)大量中間層的引入，它就能夠捕捉很多輸入特征之間的關(guān)系。卷積神經(jīng)網(wǎng)絡(luò)有很經(jīng)典的不同層的可視化展示(visulization)，我這里就不贅述了。

神經(jīng)網(wǎng)絡(luò)的提出其實(shí)很早了，但是它的準(zhǔn)確率依賴于龐大的訓(xùn)練集，原本受限于計(jì)算機(jī)的速度，分類效果一直不如隨機(jī)森林和SVM這種經(jīng)典算法。

使用情景：

數(shù)據(jù)量龐大，參數(shù)之間存在內(nèi)在聯(lián)系的時(shí)候。

當(dāng)然現(xiàn)在神經(jīng)網(wǎng)絡(luò)不只是一個(gè)分類器，它還可以用來(lái)生成數(shù)據(jù)，用來(lái)做降維，這些就不在這里討論了。

Rule-based methods

這個(gè)我是真不熟，都不知道中文翻譯是什么。

它里面典型的算法是C5.0 Rules，一個(gè)基于決策樹的變體。因?yàn)闆Q策樹畢竟是樹狀結(jié)構(gòu)，理解上還是有一定難度。所以它把決策樹的結(jié)果提取出來(lái)，形成一個(gè)一個(gè)兩三個(gè)條件組成的小規(guī)則。

使用情景：

它的準(zhǔn)確度比決策樹稍低，很少見人用。大概需要提供明確小規(guī)則來(lái)解釋決定的時(shí)候才會(huì)用吧。

提升算法（Boosting）

接下來(lái)講的一系列模型，都屬于集成學(xué)習(xí)算法(Ensemble Learning)，基于一個(gè)核心理念：三個(gè)臭皮匠，頂個(gè)諸葛亮。

翻譯過(guò)來(lái)就是：當(dāng)我們把多個(gè)較弱的分類器結(jié)合起來(lái)的時(shí)候，它的結(jié)果會(huì)比一個(gè)強(qiáng)的分類器更

典型的例子是AdaBoost。

AdaBoost的實(shí)現(xiàn)是一個(gè)漸進(jìn)的過(guò)程，從一個(gè)最基礎(chǔ)的分類器開始，每次尋找一個(gè)最能解決當(dāng)前錯(cuò)誤樣本的分類器。用加權(quán)取和(weighted sum)的方式把這個(gè)新分類器結(jié)合進(jìn)已有的分類器中。

它的好處是自帶了特征選擇（feature selection），只使用在訓(xùn)練集中發(fā)現(xiàn)有效的特征(feature)。這樣就降低了分類時(shí)需要計(jì)算的特征數(shù)量，也在一定程度上解決了高維數(shù)據(jù)難以理解的問(wèn)題。

最經(jīng)典的AdaBoost實(shí)現(xiàn)中，它的每一個(gè)弱分類器其實(shí)就是一個(gè)決策樹。這就是之前為什么說(shuō)決策樹是各種算法的基石。

使用情景：

好的Boosting算法，它的準(zhǔn)確性不遜于隨機(jī)森林。雖然在[1]的實(shí)驗(yàn)中只有一個(gè)擠進(jìn)前十，但是實(shí)際使用中它還是很強(qiáng)的。因?yàn)樽詭卣鬟x擇（feature selection）所以對(duì)新手很友好，是一個(gè)“不知道用什么就試一下它吧”的算法。

裝袋算法（Bagging）

同樣是弱分類器組合的思路，相對(duì)于Boosting，其實(shí)Bagging更好理解。它首先隨機(jī)地抽取訓(xùn)練集（training set），以之為基礎(chǔ)訓(xùn)練多個(gè)弱分類器。然后通過(guò)取平均，或者投票(voting)的方式?jīng)Q定最終的分類結(jié)果。

因?yàn)樗S機(jī)選取訓(xùn)練集的特點(diǎn)，Bagging可以一定程度上避免過(guò)渡擬合(overfit)。

在[1]中，最強(qiáng)的Bagging算法是基于SVM的。如果用定義不那么嚴(yán)格的話，隨機(jī)森林也算是Bagging的一種。

使用情景：

相較于經(jīng)典的必使算法，Bagging使用的人更少一些。一部分的原因是Bagging的效果和參數(shù)的選擇關(guān)系比較大，用默認(rèn)參數(shù)往往沒有很好的效果。

雖然調(diào)對(duì)參數(shù)結(jié)果會(huì)比決策樹和LR好，但是模型也變得復(fù)雜了，沒事有特別的原因就別用它了。

Stacking

這個(gè)我是真不知道中文怎么說(shuō)了。它所做的是在多個(gè)分類器的結(jié)果上，再套一個(gè)新的分類器。

這個(gè)新的分類器就基于弱分類器的分析結(jié)果，加上訓(xùn)練標(biāo)簽(training label)進(jìn)行訓(xùn)練。一般這最后一層用的是LR。

Stacking在[1]里面的表現(xiàn)不好，可能是因?yàn)樵黾拥囊粚臃诸惼饕肓烁嗟膮?shù)，也可能是因?yàn)橛羞^(guò)渡擬合(overfit)的現(xiàn)象。

使用情景：

@莊巖提醒說(shuō)stacking在數(shù)據(jù)挖掘競(jìng)賽的網(wǎng)站kaggle上很火，相信參數(shù)調(diào)得好的話還是對(duì)結(jié)果能有幫助的。

這篇文章很好地介紹了stacking的好處。在kaggle這種一點(diǎn)點(diǎn)提升就意味著名次不同的場(chǎng)合下，stacking還是很有效的，但是對(duì)于一般商用，它所帶來(lái)的提升就很難值回額外的復(fù)雜度了。）

多專家模型（Mixture of Experts）

最近這個(gè)模型還挺流行的，主要是用來(lái)合并神經(jīng)網(wǎng)絡(luò)的分類結(jié)果。我也不是很熟，對(duì)神經(jīng)網(wǎng)絡(luò)感興趣，而且訓(xùn)練集異質(zhì)性（heterogeneity）比較強(qiáng)的話可以研究一下這個(gè)。

講到這里分類器其實(shí)基本說(shuō)完了。講一下問(wèn)題里面其他一些名詞吧。

最大熵模型 (Maximum entropy model)

最大熵模型本身不是分類器，它一般是用來(lái)判斷模型預(yù)測(cè)結(jié)果的好壞的。

對(duì)于它來(lái)說(shuō)，分類器預(yù)測(cè)是相當(dāng)于是：針對(duì)樣本，給每個(gè)類一個(gè)出現(xiàn)概率。比如說(shuō)樣本的特征是：性別男。我的分類器可能就給出了下面這樣一個(gè)概率：高（60%），矮（40%）。

而如果這個(gè)樣本真的是高的，那我們就得了一個(gè)分?jǐn)?shù)60%。最大熵模型的目標(biāo)就是讓這些分?jǐn)?shù)的乘積盡量大。

LR其實(shí)就是使用最大熵模型作為優(yōu)化目標(biāo)的一個(gè)算法[4]。

EM

就像最大熵模型一樣，EM不是分類器，而是一個(gè)思路。很多算法都是基于這個(gè)思路實(shí)現(xiàn)的。

@劉奕馳 已經(jīng)講得很清楚了，我就不多說(shuō)了。

隱馬爾科夫 (Hidden Markov model)

這是一個(gè)基于序列的預(yù)測(cè)方法，核心思想就是通過(guò)上一個(gè)（或幾個(gè)）狀態(tài)預(yù)測(cè)下一個(gè)狀態(tài)。

之所以叫“隱”馬爾科夫是因?yàn)樗脑O(shè)定是狀態(tài)本身我們是看不到的，我們只能根據(jù)狀態(tài)生成的結(jié)果序列來(lái)學(xué)習(xí)可能的狀態(tài)。

適用場(chǎng)景：

可以用于序列的預(yù)測(cè)，可以用來(lái)生成序列。

條件隨機(jī)場(chǎng) (Conditional random field)

典型的例子是linear-chain CRF。

具體的使用@Aron有講，我就不獻(xiàn)丑了，因?yàn)槲覐膩?lái)沒用過(guò)這個(gè)。

相關(guān)的文章：

[1]: Do we need hundreds of classifiers to solve real world classification problems.

Fernández-Delgado, Manuel, et al. J. Mach. Learn. Res 15.1 (2014)

[2]: An empirical evaluation of supervised learning in high dimensions.

Rich Caruana, Nikos Karampatziakis, and Ainur Yessenalina. ICML '08

[3]: Man vs. Machine: Practical Adversarial Detection of Malicious Crowdsourcing Workers

Wang, G., Wang, T., Zheng, H., & Zhao, B. Y. Usenix Security'14

[4]: http://www.win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。