1
2019年的春節(jié)期間，想必很多人都參加了幾十個(gè)億的“大項(xiàng)目”，成為幾百億次互動的一分子。
2014年起，移動手機(jī)版紅包就成為每年除夕春節(jié)聯(lián)歡晚會“全家桶”的重要“小食”之一。近幾年，隨著移動互聯(lián)網(wǎng)的極速發(fā)展，除夕夜的“互聯(lián)網(wǎng)味道”愈加濃烈。除了央視的春節(jié)聯(lián)歡晚會，就是“紅包大戰(zhàn)”響應(yīng)最為熱烈。
2019年“春晚紅包”的旋風(fēng)依舊如故，不同的是，春晚紅包戰(zhàn)場進(jìn)來一位新的攪局者——百度。2019年1月17日下午，百度宣布與中央電視臺達(dá)成深度合作。由此，百度成為了2019年央視春節(jié)聯(lián)歡晚會的獨(dú)家互動合作伙伴。
百度的集好運(yùn)卡和團(tuán)圓紅包兩個(gè)主題從1月28日小年開始，一直持續(xù)到2月4日除夕。除百度APP以外，包括好看視頻、全民小視頻、百度貼吧、百度極速版、百度網(wǎng)盤、百度地圖、寶寶知道等多個(gè)百度產(chǎn)品矩陣，均可在其APP首頁上找到活動入口。
從雷鋒網(wǎng)的實(shí)際體驗(yàn)中了解到，百度紅包貫穿了整個(gè)春晚、以及整個(gè)春節(jié)假期，甚至在元宵節(jié)又補(bǔ)發(fā)了一輪數(shù)額達(dá)兩億的紅包，彌補(bǔ)未搶上紅包的用戶的遺憾。近日，在主題為“揭秘春晚紅包背后的技術(shù)”的第七屆百度技術(shù)開放日上，百度高級副總裁、AI技術(shù)平臺體系(AIG)和基礎(chǔ)技術(shù)體系（TG）總負(fù)責(zé)人王海峰、百度副總裁侯震宇、百度多位架構(gòu)師為在校學(xué)生、碼農(nóng)揭秘了百度首次參與央視春晚紅包的背后故事。
雷鋒網(wǎng)了解到，每年春晚的紅包環(huán)節(jié)，涉及數(shù)億用戶參與互動。多場景互動，每秒鐘千萬級并發(fā)請求，相應(yīng)地在極短的時(shí)間內(nèi)帶來高需求量、大流量、數(shù)據(jù)風(fēng)暴、高并發(fā)等巨大挑戰(zhàn)。每年雙十一都帶給服務(wù)器巨大的流量沖擊，侯震宇在開放日上稱，在春晚面前雙十一的流量可能還是小了很多。
搖紅包搖不出來、搖紅包搖出來一個(gè)空白頁，或者搖出來一個(gè)503出來是不行的，這是我們應(yīng)對的幾個(gè)比較大的挑戰(zhàn)。對于廣大網(wǎng)民、廣大的老百姓而言，春節(jié)是一個(gè)非常祥和歡樂的場景，百度沒有給他們添堵。侯震宇笑稱。
根據(jù)百度官方披露的數(shù)據(jù)顯示，春節(jié)期間全球觀眾參與百度紅包互動次數(shù)達(dá)到208億次，1000多名工程師在百度的工作園區(qū)加班。百度春晚紅包項(xiàng)目涉及數(shù)十個(gè)產(chǎn)品和平臺，110+種場景，280+個(gè)預(yù)案，百余團(tuán)隊(duì)參與，上千人協(xié)同，平均每天新增需求和任務(wù)千余個(gè)，自動化測試上萬次。
那么百度在春晚期間究竟用到了哪些技術(shù)，這些技術(shù)細(xì)節(jié)如何？
全系統(tǒng)全鏈路的優(yōu)化設(shè)計(jì)：整體架構(gòu)設(shè)計(jì)與優(yōu)化、統(tǒng)一前端接入優(yōu)化、極端并發(fā)的數(shù)據(jù)庫優(yōu)化
百度架構(gòu)師介紹，春晚紅包項(xiàng)目架構(gòu)設(shè)計(jì)中采用的是以大化小、隔離、彈性、智能、動態(tài)、自愈，同時(shí)高效控制總成本的設(shè)計(jì)理念。在架構(gòu)設(shè)計(jì)方面，將整體系統(tǒng)拆解成四大業(yè)務(wù)系統(tǒng)和大量基礎(chǔ)設(shè)施與服務(wù)。提出了多項(xiàng)具有針對性的優(yōu)化方案。用戶可以通過搖一搖、信息流、視頻、語音、搜索等多樣化形式參與。
有統(tǒng)一前端接入優(yōu)化、安全防攻擊、資源協(xié)調(diào)和動態(tài)調(diào)度能力，全鏈路壓測與攻防，以及內(nèi)測、預(yù)案與劇本等關(guān)鍵技術(shù)和方案。雷鋒網(wǎng)了解到，BFE（百度統(tǒng)一前端）是百度統(tǒng)一的七層流量轉(zhuǎn)發(fā)平臺。在春晚紅包項(xiàng)目中，BFE是IDC流量的統(tǒng)一入口，提供流量調(diào)度、接入轉(zhuǎn)發(fā)、限流、應(yīng)用層防火墻等能力。每日轉(zhuǎn)發(fā)請求數(shù)接近1萬億?；贐FE的快速開發(fā)能力，可以通過將部分業(yè)務(wù)邏輯前置到BFE，降低了整體的系統(tǒng)開銷。同時(shí)基于自研專用流式計(jì)算系統(tǒng)，提供實(shí)時(shí)報(bào)表能力，在億級別流量下可以實(shí)時(shí)反饋系統(tǒng)狀況。
此外，由于數(shù)據(jù)庫服務(wù)處于業(yè)務(wù)鏈路的最底層，具有相當(dāng)重要的作業(yè)，對其穩(wěn)定性、可靠性及并發(fā)能力提出了更高的要求和需求。 百度通過set化等關(guān)鍵技術(shù)方案，達(dá)到對業(yè)務(wù)透明且靈活擴(kuò)展、故障最小化隔離能力；在流量管控上，基于流量畫像能力，結(jié)合安全檢測及攔截能力、多維度多層級流控能力，達(dá)到對整體服務(wù)的過載保護(hù)和安全防護(hù)能力，能有效保障整體服務(wù)的可用性、數(shù)據(jù)的安全性，達(dá)到數(shù)據(jù)庫千萬級QPS處理能力；最后結(jié)合近百項(xiàng)的劇本及自動監(jiān)控預(yù)案措施，進(jìn)一步加固了春晚數(shù)據(jù)庫服務(wù)保障能力。
技術(shù)積累：服務(wù)的混部調(diào)度、彈性的資源供給、穩(wěn)定的CDN服務(wù)
百度春晚紅包業(yè)務(wù)覆蓋了搜索、推薦、語音、視頻等多個(gè)業(yè)務(wù)，不僅僅是簡單的“搖一搖”。當(dāng)億級用戶同時(shí)啟動，并與百度云建連時(shí)，對服務(wù)器部署的要求較高。
技術(shù)方案上，重點(diǎn)通過百度云集群內(nèi)部全混部，利用集群流轉(zhuǎn)支持，滿足活動的資源需求。百度服務(wù)混部調(diào)度則采用了BestEffort（BE）模式，彈性使用全百度云的集群資源。BE模式對原正常業(yè)務(wù)實(shí)現(xiàn)了無侵入使用，滿足了春晚服務(wù)提前進(jìn)場與快速便捷退場的需求。圍繞潛在問題場景，設(shè)計(jì)了秒級彈性伸縮的方案，以防備意想不到的“狀況”出現(xiàn)。
百度官方稱，百度云的媒體云平臺涵蓋視頻/圖片類數(shù)據(jù)的采集、生產(chǎn)、上傳、存儲、處理、分發(fā)、播放的一體基礎(chǔ)設(shè)施云平臺。具備萬億文件千P數(shù)據(jù)的存儲、每天千萬級媒資處理、數(shù)百節(jié)點(diǎn)50T+帶寬的分發(fā)網(wǎng)絡(luò)和一站式智能視頻解決方案。
大規(guī)模工程能力保障：工程能力、自動化、自助化壓測平臺、全要素鏈路壓測與攻防
百度春晚藍(lán)軍負(fù)責(zé)為春晚系統(tǒng)制造各種麻煩，進(jìn)行“戰(zhàn)場”的真實(shí)規(guī)模演練。首先是，全要素全鏈路壓測，用來模擬真實(shí)用戶行為，構(gòu)造大于春晚極限并發(fā)的壓力洪峰，驗(yàn)證從供電、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施，到上層軟件架構(gòu)的服務(wù)能力。
此前，雷鋒網(wǎng)報(bào)道中，百度安全對雷鋒網(wǎng)介紹稱，在此次活動中壓力頗大的風(fēng)控環(huán)節(jié)，使用了業(yè)務(wù)安全風(fēng)控平臺“昊天鏡”，基于5層復(fù)合機(jī)器學(xué)習(xí)和威脅情報(bào)大腦，發(fā)揮了對規(guī)模化深層黑產(chǎn)感知、人機(jī)識別、群控加代理集群攔截及黑產(chǎn)溯源的功能。
此外，百度此前和與運(yùn)營商形成聯(lián)合預(yù)案，預(yù)防DNS攻擊，并通過獵鷹監(jiān)控與運(yùn)營商刷新DNS，防止 DNS 劫持，針對四層攻擊（SYN Flood、ACK Flood、UDP Flood）等，實(shí)行 GTC 流量調(diào)度、智云盾發(fā)現(xiàn)、運(yùn)營商黑洞、清洗（UDP）策略等，過濾惡意用戶，攔截DDos攻擊、打擊隱私竊取等。
開放日上，侯震宇分享了一個(gè)關(guān)于百度貼吧的“題外話”。2005年，侯震宇負(fù)責(zé)百度貼吧。當(dāng)年是湖南衛(wèi)視的《超級女生》選秀節(jié)目最為火爆的一年。所有關(guān)于超女的各種粉絲、各種熱情在互聯(lián)網(wǎng)上，都體現(xiàn)在了百度貼吧上。百度貼吧也正是從05年打的那場仗之后，才正式成為中國當(dāng)時(shí)乃至現(xiàn)在最火爆、最大的一個(gè)論壇。
侯震宇認(rèn)為，百度處理高并發(fā)能力也是從那時(shí)積累起來的經(jīng)驗(yàn)。而談及百度服務(wù)的穩(wěn)定性，“我們從成立的第一天開始，百度后端服務(wù)器的數(shù)量，就要超過了前臺的服務(wù)器，從第一天開始就這樣。所以，百度從一開始就是一家基于數(shù)據(jù)分析、基于云計(jì)算作為底層基礎(chǔ)的一家公司。很長一段時(shí)間里面，包括現(xiàn)在。大家在檢查自己的網(wǎng)絡(luò)是否正常的時(shí)候，都是打開百度的首頁。”侯震宇說。
2018年，百度公布第四季度財(cái)報(bào)時(shí)，也首次披露了百度云的具體營收數(shù)字。2018Q4財(cái)報(bào)顯示，百度云第四季度營收達(dá)11億元人民幣，比2017年第四季度營收的兩倍還要多，同比增長超過100%。躋身中國云計(jì)算市場前三名，至此，BAT云計(jì)算占據(jù)了國內(nèi)公有云業(yè)務(wù)的前三名。
2018年12月18日，百度架構(gòu)調(diào)整，同時(shí)也為加快AI與產(chǎn)業(yè)結(jié)合，承載AI to B和云業(yè)務(wù)的發(fā)展。百度將智能云事業(yè)部（ACU）升級為智能云事業(yè)群組（ACG）。百度高級副總裁、AI技術(shù)平臺體系(AIG)和基礎(chǔ)技術(shù)體系（TG）總負(fù)責(zé)人王海峰在開放日致辭中也提到了這次重要的技術(shù)架構(gòu)調(diào)整。
“百度技術(shù)的平臺，不是從去年12月才開始。我們技術(shù)積累，從百度公司成立起就開始做。而從2010年初，我們就開始就打造AI技術(shù)平臺和AI方方面面的一個(gè)完整的學(xué)習(xí)。從2013年開始的百度就開始強(qiáng)調(diào)平臺化。”王海峰說，同時(shí)，我們也逐漸把這些技術(shù)開放出來，供社會各界來使用。12月份的調(diào)整以后，意味著我們更強(qiáng)化了平臺化以及技術(shù)平臺的能力。
2018年、2019年無論是互聯(lián)網(wǎng)廠商，還是ICT廠商，都將AI融入云計(jì)算，智能＋云成為趨勢。2018年，全聯(lián)接大會上，華為輪值董事長徐直軍正式公布了華為的AI發(fā)展戰(zhàn)略：投資基礎(chǔ)研究、打造全棧方案、投資開放生態(tài)和人才培養(yǎng)、解決方案增強(qiáng)、內(nèi)部效率提升。
其中，全棧方案囊括了，打造面向云、邊緣和端等全場景的、獨(dú)立的以及協(xié)同的、全棧解決方案。此次，大會也標(biāo)志著“+智能”深度融入了華為云計(jì)算的業(yè)務(wù)發(fā)展中。國慶期間，騰訊時(shí)隔六年的架構(gòu)再調(diào)整。新成立了“云與智慧產(chǎn)業(yè)事業(yè)群”CSIG。騰訊也落實(shí)了2017年“AI in All”的口號。2018年11月26日，阿里巴巴組織架構(gòu)調(diào)整宣布，阿里云事業(yè)群升級為阿里云智能事業(yè)群。
在前不久，阿里云主題為“十年再出發(fā)”大會上，阿里云數(shù)十款重磅產(chǎn)品，也圍繞著“智能”展開。應(yīng)用的數(shù)據(jù)化、智能化是阿里云的核心之一。由此可見，“智能”＋云已成為行業(yè)共識。百度作為云計(jì)算市場的“后進(jìn)者”，在短短幾年內(nèi)，迅速“上位”。
一方面，來自于百度內(nèi)部對云計(jì)算市場的重視。另一方面，云計(jì)算作為企業(yè)戰(zhàn)略“必爭之地”，在百度整體AI戰(zhàn)略的大框架下，百度對智能云的重視勢必將與日俱增。春晚紅包也是百度展示其云計(jì)算實(shí)力最佳的時(shí)機(jī)。全球信息技術(shù)研究和顧問公司Gartner預(yù)測，2019年全球公有云服務(wù)市場將從2018年的1758億美元，增長17.3%，達(dá)2062億美元。
Gartner預(yù)計(jì)，到2022年，90%購買公有云IaaS的企業(yè)機(jī)構(gòu)將從集成IaaS和平臺即服務(wù)PaaS供應(yīng)商購買，使用其提供的IaaS和PaaS功能。集成IaaS和PaaS產(chǎn)品的需求正在推動下一波云基礎(chǔ)設(shè)施的采用。而國內(nèi)云計(jì)算市場，未來在5G、產(chǎn)業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、AI多種技術(shù)的驅(qū)動下，也將走向綜合能力的競爭。
無論是百度智能云、抑或阿里、華為、騰訊，挑戰(zhàn)與機(jī)遇并存。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
