自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

本文作者： AI研習(xí)社

編輯：賈智龍

2017-05-15 15:19

導(dǎo)語：學(xué)習(xí)誰都可以，而堅(jiān)持才是最重要的。

今天是開始數(shù)據(jù)分析學(xué)習(xí)的第一百天，像一開始預(yù)備的那樣，今天會寫一個(gè)階段性的總結(jié)來紀(jì)念這一段短暫但是也很有意義的時(shí)光。

我，一個(gè)普通人，不是 985,211，不是留學(xué)，研究生，不是統(tǒng)計(jì)，數(shù)學(xué)，代碼出身，不是工作相關(guān)，不是學(xué)生，沒有專人輔導(dǎo)，通過不斷的搜索，買課，閱讀，提問，自學(xué)，只通過工作之余的空白時(shí)間，靠自己的智力和意志力，

認(rèn)認(rèn)真真的去做一件事，自己到底能做到什么程度。

所以從最開始，我就給自己定了一個(gè)目標(biāo)：去完成一個(gè)百日作業(yè)。

歷程

其實(shí)一百天里的最開始只是在朋友圈進(jìn)行打卡來記錄一下累積的有效學(xué)習(xí)時(shí)間，但是在一個(gè)月過去之后，我突然意識到，自己正在生產(chǎn)數(shù)據(jù)，而這一部分的數(shù)據(jù)，對我自己是很重要和寶貴的。于是就動手做一個(gè) excel 表格，開始記錄的整個(gè)的學(xué)習(xí)過程。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

我自己看數(shù)據(jù)的話可以感受到 100 天里主要是分成三個(gè)階段的，第一個(gè)階段是從第一天到第 30 天，一共學(xué)習(xí)了 51 小時(shí)，空白 3 天，這里是效率最高的一段時(shí)間，因?yàn)檫@個(gè)時(shí)候自己在更多的關(guān)注一些理論知識，入門知識以及瘋狂的去補(bǔ)一些教學(xué)視頻。

去了解數(shù)據(jù)框是什么樣的一個(gè)概念，了解一些數(shù)據(jù)語言的最基本的操作，包括一些很簡單的命令，反復(fù)的去看。因?yàn)槟闵踔習(xí)趦Υ娓袷缴系膯栴}都遇到的不少的麻煩。實(shí)話說，在這一段學(xué)習(xí)里我浪費(fèi)了不少時(shí)間在一些最開始完全想不到的地方，而且是各種書籍教學(xué)里極少提到的那一部分弱智問題上。

而這一部分用我朋友的話說是 “這是代碼常識??！”

……

抱歉，我確實(shí)沒有常識。

所以我哪怕會寫幾個(gè)可視化函數(shù)了，卻會弄錯(cuò) utf-8 和 gbk 的編碼問題，然后苦苦掙扎幾個(gè)小時(shí)，毫無頭緒，等等等等。

這真的是媽的智障的一段心酸過程，而且可以預(yù)見的，未來的日子還會出現(xiàn)幾次的。

……

所以說那個(gè)時(shí)候其實(shí)是很充實(shí)，很快樂，但是也很痛苦的一段時(shí)間。因?yàn)槟莻€(gè)時(shí)候獲得的成就感是最頻繁的。“啊，今天又學(xué)了兩個(gè)小時(shí)”，“今天又知道了很多新的概念”，等等。

但是真正當(dāng) 30 天后，最開始的非常激情的一個(gè)月過去之后，開始接觸一些真正的操作和應(yīng)用的之后。也就是從 31 天到 90 天的這段時(shí)間，對我來說，可能是更重視的一個(gè)過程。

進(jìn)入 3 月中旬之后，工作開始忙碌了起來，在前 30 天中，自己再累也會騰出半小時(shí)的時(shí)間來翻看視頻和閱讀書籍。但是在 3 月中開始，工作開始忙碌之后，學(xué)習(xí)時(shí)間出現(xiàn)了第一次的大面積空白。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

從第 42 天到六第 60 天，一共 18 天里只學(xué)了四天，最核心的原因是期間，涉及到了一次出差，出差前的工作準(zhǔn)備，出差中的疲勞，出差后的報(bào)告波折…… 而這個(gè)時(shí)候的學(xué)習(xí)，涉及到更多的思考，更多的工具使用，很多時(shí)候并不是半個(gè)小時(shí)可以解決的。所以在知道自己不能保證效率的時(shí)候，我選擇的是休息。

但是確實(shí)非常心疼。

學(xué)習(xí)很多時(shí)候，就是自己的情緒，理智，和自控力不斷的斗爭的過程。

而從記錄上看，第 80 天左右的時(shí)候，又出現(xiàn)大面積段的間斷學(xué)習(xí)，從第 78 天到 89 天一共 11 天的時(shí)間里只學(xué)了一天，而這一段學(xué)習(xí)空白，我的備注上也標(biāo)記得非常清楚：

【外勤】，大量的【外勤】

而且由于工作本身的原因積累了很多的壓力，當(dāng)然一部分也是學(xué)習(xí)的焦慮造成的。這段空白的時(shí)間里還有一個(gè)五一小長假，我的備注欄里寫著【沒心情，休息】。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

這個(gè)時(shí)候，我已經(jīng)意識到了工作和這樣高強(qiáng)度的學(xué)習(xí)是存在著一定程度上的沖突的，畢竟人的精力是有限。哪怕我自詡精力旺盛，但每當(dāng)工作強(qiáng)度和壓力上升的時(shí)候，學(xué)習(xí)就會非常明顯的受到影響。也是在那個(gè)時(shí)候，自己開始認(rèn)真的考慮停產(chǎn)學(xué)習(xí)的事情。

最后，在第 96 天的時(shí)候，我離職了。

然后就像突然后知后覺的，我開始真正意義上的，懷念起大學(xué)的時(shí)光，非常自由也非常純粹的一段時(shí)光。也像很多人曾經(jīng)做過的那樣，慨嘆自己的年幼無知和對于自由時(shí)光的奢侈浪費(fèi)。

最后說回這次百日作業(yè)的實(shí)踐。其實(shí)這段時(shí)間里，自己一直有去完成不同老師課程里布置的各種作業(yè)，但是很多時(shí)候是無法聯(lián)系起來的，技巧上一些練習(xí)。像很重要是 sql 技能，常用指令其實(shí)不多，但是可練習(xí)項(xiàng)目其實(shí)真的少的可憐。而 kaggle 上的項(xiàng)目，經(jīng)過幾次嘗試，我發(fā)現(xiàn)更多的是需要一些思路上的突破，需要很多的算法積累，模型學(xué)習(xí)，而這一部分，是我需要大量補(bǔ)習(xí)的內(nèi)容。如果只是簡單的做幾個(gè)數(shù)據(jù)的可視化，其實(shí)并沒有很大的重復(fù)意義。

所以自己也去開始想著：如果從實(shí)際應(yīng)用出發(fā)，自己怎么去獨(dú)立的解決一個(gè)命題呢？

遇到的問題

于是就開始了這次的作業(yè)實(shí)踐，也遇到非常非常多的問題。

首先就是爬蟲技術(shù)的問題，因?yàn)橐婚_始在做 R 和 python 二選一的時(shí)候，我選擇了名字比較短的那個(gè)，所以到后面發(fā)現(xiàn) python 的技術(shù)可能更適合爬蟲應(yīng)用的時(shí)候，我的臉是非常傲嬌的…… 通過取巧，采用了爬蟲插件來工作。但是在應(yīng)用的時(shí)候還是遇到了各種問題，首先就是因?yàn)橹锹?lián)的搜索機(jī)制問題，它在無法滿足搜索機(jī)制的時(shí)候，會自動的填充其他內(nèi)容，所以我當(dāng)初爬到了 3000 多的時(shí)候發(fā)現(xiàn)爬取內(nèi)容已經(jīng)完全沒有 “數(shù)據(jù)” 兩個(gè)字了，然而工作還在繼續(xù)！這就很窩心了。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

但是那個(gè)時(shí)候根本不知道問題在哪里，只能重新再爬一次，然后定期回來檢查…… 這工作居然要人工來做，可想有多窩火。而且因?yàn)椴恢?，gooseeker 爬取還會出現(xiàn)很多的爬取失敗和卡頓現(xiàn)象，盯著那個(gè)爬取頁面卡著半天，然后報(bào)錯(cuò)，然后下一個(gè)…… 這是一種很讓人沮喪的體驗(yàn)，也是在那個(gè)時(shí)候，我下決心，還是把 python 追上了學(xué)學(xué)吧。

哎。

數(shù)據(jù)的源文件，我爬了整整 2 個(gè)晚上，然后只有 2000 出頭可以用，后面整合爬取文件的時(shí)候，因?yàn)橐ㄟ^ excel 的宏來操作，又是遇到各種零碎的麻煩，最后甚至還是通過笨辦法解決的……

效率低下！心疼??！

然后就是文本問題的處理上，首先我是想通過代碼來進(jìn)行職業(yè)關(guān)鍵詞篩選的，后來發(fā)現(xiàn)研究了整整兩天，最后發(fā)現(xiàn)現(xiàn)有的知識量，沒有頭緒去做到。查了半天就是找不到方法。最后不得已放棄，采用了觀察，然后數(shù)字篩選的方法，也幸虧我當(dāng)初是人工叫停的。否則還真不知道要翻數(shù)據(jù)翻到哪里去。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

文本的第二個(gè)問題出現(xiàn)在月薪機(jī)制的篩選上，其實(shí)原本就知道這個(gè)東西通過 excel 的命令特別容易做到（畢竟我也是看【七周成為數(shù)據(jù)分析師 - Excel 實(shí)戰(zhàn)篇 - 知乎專欄】才動的實(shí)踐課題念頭）但是通過 R 語言來實(shí)現(xiàn)的時(shí)候就遇到了各種問題，這個(gè)時(shí)候還沒有人教過我的文本處理，也不知道去哪里問，問什么，只能到處逛，到處搜，搜到了之后好不容易處理好代碼，然后發(fā)現(xiàn)不斷的報(bào)錯(cuò)，最后長時(shí)間的 debug 然后發(fā)現(xiàn)是問題出在 “1000 以下”（別人都是 “6000-8000”）心情可想而知…

而后面在詞云的文本分析和處理上，發(fā)現(xiàn)僅僅學(xué)會技術(shù)的話可提供的幫助太少了，文本分析需求的邏輯鏈條可能更模糊也更困難。尤其是在關(guān)鍵詞不明朗的前提下。

最后就是代碼優(yōu)化和可視化的輸出上。因?yàn)橥瓿伤悸返闹芷谄鋵?shí)很長，零碎的思路在最后回頭再看的時(shí)候，又會有很多的想法。而在自己的數(shù)據(jù)閱讀中，我一直想去嘗試優(yōu)化自己的思路和代碼，這種嘗試的過程會很，幸福。哈哈，不說笑，真的很幸福。尤其是在可視化的時(shí)候，這個(gè)圖到底能不能清晰的表達(dá)我的思路，我全篇的邏輯線是否流暢，是我想要去完善的一個(gè)東西?？赡芤恢笔窃趶氖卤容^務(wù)實(shí)的工作的原因，能不能盡可能的簡單，盡可能方便拿起來就用，是我關(guān)注的重點(diǎn)。這個(gè)琢磨的過程其實(shí)給予我很多。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)