5
| 本文作者： 觀察者Fan | 2016-03-10 22:54 |
【編者按】如果看過前FB工程師覃超的（《關(guān)于神秘的Growth Hacking，F(xiàn)acebook都做了什么？（中）》）的朋友應(yīng)該對(duì)于里面Facebook首頁和人人網(wǎng)首頁改版的例子印象深刻。這里Facebook使用的一大法寶就是灰度發(fā)布和 A/B testing，讓Facebook的日活達(dá)到了10億用戶。本文作者Fan，在美國卡耐基梅隆大學(xué)完成博士階段學(xué)習(xí)，曾任職Facebook與Google Switzerland，專注于廣告與推薦排序的研發(fā)。2015年底加入美圖公司擔(dān)任數(shù)據(jù)總監(jiān)。文章來自Fan的線下數(shù)據(jù)交流會(huì)的分享，介紹了美拍是如何做好數(shù)據(jù)驅(qū)動(dòng)的。
大家好！很高興能有這個(gè)交流的機(jī)會(huì)。準(zhǔn)備這次主題的時(shí)候，我想的是去了解大家對(duì)產(chǎn)品中的數(shù)據(jù)指標(biāo)是否熟悉，以及在日常研發(fā)的過程中怎樣與數(shù)據(jù)打交道。所以我針對(duì)我們的主打產(chǎn)品美拍做了一個(gè)關(guān)于數(shù)據(jù)的簡短調(diào)研，今天也結(jié)合自己之前的工作經(jīng)驗(yàn)講講這個(gè)調(diào)研的過程、結(jié)果和體會(huì)，希望能對(duì)大家有所幫助。
“Data-informed and data-driven”這個(gè)題目來自選擇到Facebook工作之前交流時(shí)的一個(gè)問答。我的問題是 “有的公司是數(shù)據(jù)驅(qū)動(dòng)的，有的公司是得益于創(chuàng)新的設(shè)計(jì)，那么對(duì)FB最重要的一個(gè)方面是什么？”回答的一部分談到了數(shù)據(jù)，因?yàn)橛∠蟊容^深，所以就借用過來——“不同的領(lǐng)域?qū)Υ龜?shù)據(jù)的方式各異，比如廣告后臺(tái)的迭代改進(jìn)更加需要數(shù)據(jù)驅(qū)動(dòng)，而開發(fā)一個(gè)全新的產(chǎn)品可能更多需要對(duì)數(shù)據(jù)有所感知，即是在產(chǎn)品方面有要個(gè)做什么的想法時(shí)通過數(shù)據(jù)來佐知我們的觀點(diǎn)。
既然是要講產(chǎn)品研發(fā)中的數(shù)據(jù)，我也就通過收集一些數(shù)據(jù)來讓自己明了。
我關(guān)注的產(chǎn)品是美拍，因?yàn)樗俏覀冏钍軞g迎的應(yīng)用產(chǎn)品之一，不僅數(shù)據(jù)的種類豐富，總量也很大。除了用戶注冊(cè)、活躍、訪問數(shù)和一些簡單的交互，作為一個(gè)短視頻分享的服務(wù)，美拍特有的數(shù)據(jù)就包括用戶的上傳、播放、搜索，對(duì)一個(gè)視頻的點(diǎn)贊、評(píng)論、轉(zhuǎn)發(fā)，以及用戶和用戶的交互，包括評(píng)論的回復(fù)、關(guān)注、私信等。美拍的用戶可以分為明星、達(dá)人和眾多普通的用戶。用戶也會(huì)根據(jù)自己的興趣選擇不同的頻道。這里面有很多很豐富的數(shù)據(jù)，為了支持這些體驗(yàn)，數(shù)據(jù)部門的職責(zé)之一，就是通過個(gè)性化的推薦讓用戶更容易看到自己喜歡的視頻和關(guān)注到感興趣的發(fā)布者。
美拍的數(shù)據(jù)從一些基本的數(shù)字看起，比如每日、每周、每月的活躍用戶數(shù)，每天的新增用戶數(shù)和留存比。留存的定義是，如果今天新增的用戶明天仍然用到了美拍，則計(jì)入今天的次日留存，類似的用戶在未來一周內(nèi)至少有一天活躍則計(jì)入今天的周留存。另外的數(shù)字包括播放總數(shù)和播放時(shí)長等。統(tǒng)計(jì)的總數(shù)可以來自客戶端，或者包括客戶端、移動(dòng)端與非移動(dòng)端的網(wǎng)頁版的總數(shù)，來源是美圖的統(tǒng)計(jì)后臺(tái)以及第三方平臺(tái)。
在準(zhǔn)備好這些數(shù)字之前，我想到可以在自己不知道標(biāo)準(zhǔn)答案的時(shí)候找負(fù)責(zé)美拍的技術(shù)、產(chǎn)品、運(yùn)營的同學(xué)做一個(gè)相關(guān)的調(diào)研。于是就準(zhǔn)備了單頁的問卷打印出來，到每人的工位旁打擾他們15分鐘來做訪談，最后一共有17位同學(xué)參與。
在談到調(diào)研結(jié)果前先談下過程中的體會(huì)。
首先是數(shù)據(jù)收集的過程中要考慮到可行性與代價(jià)。比如在調(diào)研中問一些很細(xì)節(jié)的或者目前后臺(tái)沒有加入統(tǒng)計(jì)的數(shù)據(jù)指標(biāo)，可能不會(huì)有信息量。在研發(fā)中類似的情況比如說在設(shè)計(jì)推薦和排序用到的特征時(shí)，優(yōu)先級(jí)不僅取決于該特征可能產(chǎn)生的效果，也依賴于產(chǎn)生特征需要的數(shù)據(jù)能否在保證性能的前提下獲得。
其次是關(guān)于測量方式，尤其是在有多個(gè)相關(guān)的指標(biāo)時(shí)如何做選擇，比如這次調(diào)研中的一個(gè)問題是平均每日用戶對(duì)視頻點(diǎn)贊的總數(shù)，如果換一個(gè)方式，每天的活躍用戶的平均點(diǎn)贊數(shù)，由此推出的答案非?？赡軙?huì)與前一種問法有差異。類似的情況在技術(shù)實(shí)踐中也時(shí)常遇到，比如測試性能的時(shí)候就不僅僅需要了解一個(gè)請(qǐng)求延遲時(shí)長的平均數(shù)，相應(yīng)的百分位數(shù)p50, p95, p99都是常見的指標(biāo)。
最后有一句話是“Done is better than perfect”，也就是說在一次訪談還沒做之前去花時(shí)間糾結(jié)怎樣把問卷設(shè)計(jì)的更完美，不如在過程中迭代改進(jìn)。事實(shí)上訪談問卷經(jīng)過前幾次訪談后做了一次簡化，很大提升了后面完成的效率。
下面是經(jīng)過可視化處理的數(shù)據(jù)，每一行對(duì)應(yīng)一個(gè)數(shù)據(jù)指標(biāo)，每一列對(duì)應(yīng)一份問卷。上面的顏色用來指示答案的準(zhǔn)確程度，越接近真實(shí)值顏色越深?？梢郧宄目闯鲇幸恍┲笜?biāo)的顏色更深，尤其是最下方的兩排，分別對(duì)應(yīng)每周和每天的活躍高峰期。大多數(shù)同學(xué)對(duì)這兩個(gè)指標(biāo)的了解都相當(dāng)準(zhǔn)確。
本段后的兩排單獨(dú)列出日、月活躍用戶數(shù)兩項(xiàng)指標(biāo)。日活被了解的比月活更多。這可能是因?yàn)槟壳霸禄顢?shù)通常是按照自然月統(tǒng)計(jì)，盡管它還可被定義為過去30天內(nèi)的活躍用戶數(shù)。另外，美圖統(tǒng)計(jì)后臺(tái)和第三方平臺(tái)的計(jì)算方法也有所不同，在問卷中沒有明確數(shù)據(jù)源也造成了一定的誤差。
另外有意思的比較是上傳數(shù)和播放數(shù)的回答情況。作為短視頻的分享平臺(tái)，美拍的播放數(shù)和播放時(shí)長是比上傳數(shù)更有意義的指標(biāo)——盡管它們都彼此相關(guān)——因此播放數(shù)被關(guān)注和了解的更多。如果美拍僅僅是一個(gè)視頻處理工具，那么上傳數(shù)就會(huì)是關(guān)鍵指標(biāo)了。
下面就不再每項(xiàng)指標(biāo)的去羅列，而是以調(diào)研中遇到的情形談?wù)剶?shù)據(jù)分析中的幾點(diǎn)體會(huì)。
首先是數(shù)據(jù)工作的前提是準(zhǔn)確。
無論是用于報(bào)表分析、推薦算法或是這次分享，收集得到的數(shù)據(jù)指標(biāo)應(yīng)該與定義相一致。比如下面的曲線左邊是三個(gè)星期的注冊(cè)數(shù)，其中有一個(gè)是前后平均值兩倍的高峰，這個(gè)是真實(shí)的增長嗎？如果再看右手邊同時(shí)段內(nèi)手機(jī)號(hào)的注冊(cè)數(shù)占總注冊(cè)數(shù)的比例就會(huì)發(fā)現(xiàn)有5倍的增長，這樣大的增幅相當(dāng)可疑。真正的成因是某個(gè)舊版本被刷了注冊(cè)數(shù)，多出來許多虛假賬戶，當(dāng)問題解決時(shí)指標(biāo)水平又恢復(fù)正常。對(duì)這個(gè)具體的例子，可以根據(jù)平日手機(jī)號(hào)注冊(cè)所占的比例修正得到基本準(zhǔn)確的注冊(cè)總數(shù)。其他情形如統(tǒng)計(jì)算法或數(shù)據(jù)源的bug就無法能通過簡單的數(shù)據(jù)清理而解決。
在迭代上線的時(shí)候，A/B測試實(shí)驗(yàn)有時(shí)會(huì)看到意外的結(jié)果，可能是意外的好也可能是意外的壞，意外的壞常常在分析時(shí)比意外好的情形更得到重視。但從數(shù)據(jù)準(zhǔn)確性的角度而言，意外的好與意外的壞是相同的情況，只有在確認(rèn)數(shù)據(jù)正確解決了可能存在的問題之后，意外的好才會(huì)是真的提升。
同樣重要的一點(diǎn)是大家對(duì)于數(shù)據(jù)指標(biāo)的理解是否一致。
舉個(gè)在之前的公司的例子，產(chǎn)品廣告質(zhì)量中用到一個(gè)產(chǎn)品“參考價(jià)格”的概念。這個(gè)概念非常直觀，大家都喜歡用，可是在之后的溝通中的過程中會(huì)因?yàn)楸舜说睦斫獠煌斐蓡栴}，比如它可以指產(chǎn)品價(jià)格的中位數(shù)，即于大多數(shù)商家選擇的價(jià)格接近，也可以指在有信譽(yù)商家所提供的最低價(jià)格。對(duì)于美拍而言， “有效播放”也是個(gè)模糊的概念，可能存在各自有價(jià)值的幾個(gè)相關(guān)的指標(biāo)，比如播放長度是超過幾秒，或者是超過視頻長度的百分之多少，能盡早分別定義、命名清楚能夠避免后續(xù)的混淆。
數(shù)據(jù)還能夠幫助我們了解進(jìn)展與建立優(yōu)先級(jí)。
對(duì)一個(gè)快速發(fā)展的產(chǎn)品而言，可以優(yōu)化的點(diǎn)很多，想法也就更多了，然而資源和時(shí)間是有限的。了解重要指標(biāo)的數(shù)據(jù)分布可以是一個(gè)入手點(diǎn)，比如如果目標(biāo)是增加美拍的總播放數(shù)，那么就可以先了解哪個(gè)頻道的播放數(shù)占的比例最高。除此之外，具體的比例數(shù)據(jù)的絕對(duì)大小也不應(yīng)該忽略。之前工作中曾經(jīng)做過一次實(shí)驗(yàn)，希望上線的測試組比對(duì)照組的各項(xiàng)指標(biāo)均沒有明顯變化，但轉(zhuǎn)化數(shù)有1%的統(tǒng)計(jì)顯著的增長。因?yàn)檗D(zhuǎn)化數(shù)是產(chǎn)品廣告質(zhì)量非常相關(guān)的一個(gè)指標(biāo)，起初這個(gè)結(jié)果看著很不錯(cuò)。因?yàn)檗D(zhuǎn)化數(shù)的絕對(duì)值沒有在界面中顯示，等查到發(fā)現(xiàn)1%的增長只對(duì)應(yīng)少幾百個(gè)時(shí)，就進(jìn)一步調(diào)查得知這個(gè)轉(zhuǎn)化數(shù)指標(biāo)的統(tǒng)計(jì)是依賴商家主動(dòng)報(bào)上來的，很不完全，所以1%的增長對(duì)實(shí)際效果的影響并不能得出明確的結(jié)論。
另外一個(gè)體會(huì)是關(guān)于界面的。
用戶界面的改變可能對(duì)下游的數(shù)據(jù)產(chǎn)生極大的影響，而一個(gè)好的設(shè)計(jì)對(duì)主要指標(biāo)的貢獻(xiàn)的程度會(huì)是后臺(tái)迭代中很難見到的。比如在用戶添加好友時(shí)取消確認(rèn)框能夠把損耗率降低兩位數(shù)的百分點(diǎn)，而提升廣告CTR的有效途徑是設(shè)計(jì)吸引人的創(chuàng)意。與界面相關(guān)的特征也是機(jī)器學(xué)習(xí)模型的重要輸入，而當(dāng)用戶界面有較大變更時(shí)，相應(yīng)的A/B測試會(huì)需要獨(dú)立的模型，這不僅僅因?yàn)橛羞@些特征的存在，也是因?yàn)榻M成其他特征的數(shù)據(jù)分布和目標(biāo)函數(shù)的分布都會(huì)有顯著變化。
還有一句話是“If you can’t measure it, you can’t fix it”。
就是要求先發(fā)、及時(shí)的數(shù)據(jù)測量，如果問題無法測量，那也失去了解決的途徑。這次調(diào)研其實(shí)有一些重要的用戶體驗(yàn)數(shù)據(jù)沒有包括在內(nèi)，比如和用戶使用體驗(yàn)很相關(guān)的平均視頻加載時(shí)間及其分布。還有一些分解的指標(biāo)沒有加到現(xiàn)有的統(tǒng)計(jì)后臺(tái)中，后面會(huì)盡快補(bǔ)上。
大數(shù)據(jù)是現(xiàn)在常聽到的一個(gè)詞，甚至被用得有些過頭了。擁有海量、多樣的數(shù)據(jù)確實(shí)有很大潛在的價(jià)值，但要用好還是要定義、采集、存儲(chǔ)、清理等一個(gè)個(gè)環(huán)節(jié)入手，才能為之后的分析、推斷、預(yù)測提供可靠的基礎(chǔ)。
數(shù)據(jù)感知的前提是：數(shù)據(jù)是有的；數(shù)據(jù)是正確的；理解是相一致的；在哪兒是找得到的；怎樣變化是看得來的。而數(shù)據(jù)驅(qū)動(dòng)則要求數(shù)據(jù)收集、處理和應(yīng)用的整個(gè)過程都能夠及時(shí)（甚至實(shí)時(shí)）而有效，這需要數(shù)據(jù)相關(guān)的上下游團(tuán)隊(duì)的共同努力。數(shù)據(jù)之所以有用是因?yàn)楫?dāng)產(chǎn)品夠大時(shí)就不存在一個(gè)典型用戶。A/B測試就是說明這點(diǎn)的很好的例子。每個(gè)人在做決定的時(shí)候會(huì)代入自己的判斷，而良好設(shè)計(jì)的實(shí)驗(yàn)得到的客觀指標(biāo)，能夠指引我們做出有依據(jù)的選擇。從另一個(gè)角度講，雖然數(shù)據(jù)是提升用戶體驗(yàn)的一個(gè)指標(biāo)，但總有它的局限性，例如依賴不完整的數(shù)據(jù)測量可能無法做出最優(yōu)的選擇。而用戶的信任取得難失去易，從數(shù)據(jù)的角度而言就是要格外注意數(shù)據(jù)的隱私，這是非常重要的！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
