毫無(wú)疑問(wèn)，騰訊云正不斷將把騰訊多年來(lái)的能力沉淀對(duì)外開(kāi)放，賦能千萬(wàn)企業(yè)，這一次是大數(shù)據(jù)。

在9月11日騰訊全球數(shù)字生態(tài)大會(huì)大數(shù)據(jù)專(zhuān)場(chǎng)上，騰訊云一口氣公布了1+6款大數(shù)據(jù)核心應(yīng)用產(chǎn)品。

要知道，在過(guò)去的十多年時(shí)間里，騰訊大數(shù)據(jù)經(jīng)歷了由外部采購(gòu)到自研再到對(duì)外輸送能力的快速迭代和發(fā)展，目前產(chǎn)品矩陣已經(jīng)覆蓋運(yùn)維、開(kāi)發(fā)、應(yīng)用三大層面，無(wú)論是作為基礎(chǔ)設(shè)施的彈性分布式計(jì)算、神盾聯(lián)邦計(jì)算，場(chǎng)景開(kāi)發(fā)的商業(yè)智能分析、云搜等，還是作為大數(shù)據(jù)應(yīng)用服務(wù)的云圖、燈塔增長(zhǎng)平臺(tái)等，目前都以騰訊云產(chǎn)品和服務(wù)的形式，面向開(kāi)發(fā)者和企業(yè)開(kāi)放。

騰訊云副總裁劉煜宏透露，騰訊云大數(shù)據(jù)平臺(tái)的算力彈性資源池達(dá)500萬(wàn)核，每日分析任務(wù)數(shù)達(dá)1500萬(wàn)，每日實(shí)時(shí)計(jì)算次數(shù)超過(guò)40萬(wàn)億，能支持超過(guò)一萬(wàn)億維度的數(shù)據(jù)訓(xùn)練。

此時(shí)，正是檢驗(yàn)騰訊云大數(shù)據(jù)產(chǎn)品能力的最好時(shí)候。

一場(chǎng)疫情帶來(lái)的大數(shù)據(jù)產(chǎn)業(yè)機(jī)遇

而2020年的新冠疫情嚴(yán)重暴露了很多企業(yè)的數(shù)字化支撐能力不足，很多企業(yè)都倉(cāng)促將業(yè)務(wù)轉(zhuǎn)移到線上，但由于過(guò)去積累不足，并未取得很好的效果。

哪些能力是需要補(bǔ)足的？騰訊研究院今年4月的一份調(diào)研數(shù)據(jù)顯示，有50%的企業(yè)認(rèn)為大數(shù)據(jù)是數(shù)字化轉(zhuǎn)型過(guò)程中首要關(guān)注的一項(xiàng)技術(shù)。

騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平表示，企業(yè)構(gòu)建大數(shù)據(jù)能力的核心有三點(diǎn)：一是平臺(tái)的統(tǒng)一，大數(shù)據(jù)涵蓋的范圍非常廣，每個(gè)組件只能解決一小部分，導(dǎo)致整體對(duì)大數(shù)據(jù)平臺(tái)的維護(hù)和升級(jí)的復(fù)雜度極其高；二是異構(gòu)算力，大數(shù)據(jù)的算力占到了企業(yè)IT采購(gòu)的50%以上；三是企業(yè)級(jí)安全，對(duì)企業(yè)經(jīng)營(yíng)影響非常大。

為此，騰訊云推出了全新全鏈路數(shù)據(jù)開(kāi)發(fā)平臺(tái)WeData，以解決從數(shù)據(jù)集成到開(kāi)發(fā)調(diào)度到部署測(cè)試長(zhǎng)鏈條上的問(wèn)題。

具體來(lái)說(shuō)，WeData提供了涵蓋數(shù)據(jù)即席分析、數(shù)據(jù)任務(wù)可視化編排、運(yùn)維等在內(nèi)的全鏈路數(shù)據(jù)開(kāi)發(fā)能力。將主要解決三個(gè)問(wèn)題：一是元數(shù)據(jù)統(tǒng)一，做到不同平臺(tái)的數(shù)據(jù)打通；二是數(shù)據(jù)開(kāi)發(fā)的統(tǒng)一，從數(shù)據(jù)集成、開(kāi)發(fā)、測(cè)試、發(fā)布、調(diào)度，都能在一個(gè)平臺(tái)內(nèi)統(tǒng)一；三是數(shù)據(jù)治理的統(tǒng)一，包括數(shù)據(jù)血緣、數(shù)據(jù)地圖、數(shù)據(jù)的質(zhì)量等。

例如，通過(guò)在云端構(gòu)建統(tǒng)一元數(shù)據(jù)管理服務(wù)，涵蓋技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的管理，并打通了彈性MapReduce（EMR）、CDW云數(shù)倉(cāng)、MySQL云數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)等在內(nèi)元數(shù)據(jù)，以便于企業(yè)數(shù)據(jù)在不同云端數(shù)據(jù)設(shè)施之間進(jìn)行無(wú)縫流轉(zhuǎn)的同時(shí)，還能保障其元數(shù)據(jù)的一致性和可維護(hù)性。

目前，WeData已經(jīng)進(jìn)入內(nèi)測(cè)階段，預(yù)計(jì)下半年正式公布并開(kāi)源出來(lái)。

除了全鏈路數(shù)據(jù)開(kāi)發(fā)平臺(tái)WeData之外，在更細(xì)分的場(chǎng)景上，騰訊云大數(shù)據(jù)推出流計(jì)算服務(wù)Oceanus、云數(shù)據(jù)倉(cāng)庫(kù)CDW、ES、彈性MapReduce、神盾聯(lián)邦計(jì)算以及企業(yè)畫(huà)像等6項(xiàng)重磅能力發(fā)布和升級(jí)。

針對(duì)大數(shù)據(jù)開(kāi)發(fā)場(chǎng)景，

• 正式發(fā)布流計(jì)算服務(wù)Oceanus，面向大數(shù)據(jù)實(shí)時(shí)計(jì)算領(lǐng)域，可應(yīng)用于實(shí)時(shí)點(diǎn)擊流分析、物聯(lián)網(wǎng)監(jiān)控、實(shí)時(shí)推薦、實(shí)時(shí)金融風(fēng)控等場(chǎng)景。

• 全新發(fā)布云數(shù)據(jù)倉(cāng)庫(kù)CDW，則可以幫助中小企業(yè)快速構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，對(duì)于常見(jiàn)的運(yùn)維操作進(jìn)行高度封裝，屏蔽底層復(fù)雜的邏輯細(xì)節(jié)，同時(shí)提供多維度全方位智能化的監(jiān)控體系。

• 全新升級(jí)“明星產(chǎn)品”ES，新增自研中文分詞系統(tǒng)，準(zhǔn)確度和性能均達(dá)到行業(yè)領(lǐng)先水平。

在大數(shù)據(jù)基礎(chǔ)設(shè)施層，

• 全新升級(jí)彈性MapReduce，能夠?qū)崿F(xiàn)企業(yè)大數(shù)據(jù)構(gòu)建成本降低30%。MapReduce實(shí)現(xiàn)異構(gòu)算力的融合，能夠在計(jì)算高峰期通過(guò)云原生的彈性資源或者在線業(yè)務(wù)的空閑資源快速補(bǔ)充算力。

• 全新發(fā)布神盾聯(lián)邦計(jì)算，可以零門(mén)檻進(jìn)行企業(yè)間的數(shù)據(jù)融合計(jì)算。

 在大數(shù)據(jù)應(yīng)用服務(wù)上，

• 全新升級(jí)企業(yè)畫(huà)像，提供企業(yè)營(yíng)銷(xiāo)、企業(yè)風(fēng)控、企業(yè)扶持、產(chǎn)業(yè)分析等四個(gè)方向的解決方案，助力政府管理、企業(yè)拓客和金融機(jī)構(gòu)規(guī)避風(fēng)險(xiǎn)。

WeData如何快速落地？ 

以上解決方案，不難看出騰訊云對(duì)企業(yè)大數(shù)據(jù)應(yīng)用痛點(diǎn)有著清晰的認(rèn)知。

然而，數(shù)據(jù)開(kāi)發(fā)領(lǐng)域，類(lèi)似的產(chǎn)品并不鮮，相較之下，具體到場(chǎng)景中，WeData解決了哪些問(wèn)題？又會(huì)有怎樣的發(fā)展邏輯？

騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平在接受雷鋒網(wǎng)采訪時(shí)表示，

“WeData首先滿(mǎn)足的肯定是企業(yè)客戶(hù)的核心訴求，我們也會(huì)聚焦兩類(lèi)群客戶(hù)體：

一類(lèi)是過(guò)去使用大數(shù)據(jù)比較淺層次，可能就使用了數(shù)據(jù)報(bào)表功能的企業(yè)，但現(xiàn)在希望能夠利用這些數(shù)據(jù)做更多的探索，如用戶(hù)分析。

還有一類(lèi)是此前可能已經(jīng)部署了一些大數(shù)據(jù)相關(guān)應(yīng)用，希望投入更多精力在數(shù)據(jù)價(jià)值上的企業(yè)，但這類(lèi)企業(yè)所構(gòu)建的數(shù)據(jù)平臺(tái)的維護(hù)和升級(jí)成本極高?！?/p>

據(jù)了解，騰訊QQ音樂(lè)首先基于WeData產(chǎn)品進(jìn)行了大數(shù)據(jù)能力的重構(gòu)。

在重構(gòu)之前，所有的數(shù)據(jù)分析能力都是基于Spark構(gòu)建，所有報(bào)表的延時(shí)也都是小時(shí)級(jí)。在將熱數(shù)據(jù)全部升級(jí)到Clickhouse，并通過(guò)WeData進(jìn)行數(shù)據(jù)開(kāi)發(fā)工作，重構(gòu)完成之后數(shù)據(jù)決策能力從小時(shí)級(jí)別提升到秒級(jí)。

但不同的是，在接觸到真正的外部政企客戶(hù)，很多訴求很難說(shuō)在騰訊內(nèi)部就能遇到，如跨源、跨域、跨類(lèi)型、跨IDC的數(shù)據(jù)分析需求等。為觀察到這些客戶(hù)訴求并給出可落地的解決方案，騰訊云大數(shù)據(jù)基礎(chǔ)平臺(tái)總經(jīng)理陳鵬向雷鋒網(wǎng)舉了一個(gè)實(shí)際場(chǎng)景：

“騰訊云產(chǎn)研團(tuán)隊(duì)會(huì)有專(zhuān)門(mén)的類(lèi)似售前的架構(gòu)師，可真正第一線了解客戶(hù)需求。比方說(shuō)，客戶(hù)對(duì)運(yùn)營(yíng)有某些特定訴求，內(nèi)部就會(huì)將這部分能力作為高優(yōu)先級(jí)進(jìn)行產(chǎn)品化，然后迭代賦能給外部。

在這個(gè)過(guò)程中，可能會(huì)遇到外部客戶(hù)所能接受的集群規(guī)模調(diào)度在幾十臺(tái)的量級(jí)，如何保證這套協(xié)同既能支撐騰訊內(nèi)部大規(guī)模調(diào)度又能支撐外部客戶(hù)低成本部署的問(wèn)題，其實(shí)非常考驗(yàn)整體架構(gòu)的的能力?！?/p>

直接跳過(guò)騰訊之前踩的坑，讓企業(yè)有更多時(shí)間關(guān)注業(yè)務(wù)價(jià)值，可以說(shuō)是騰訊云WeData的核心目標(biāo)。

雷鋒網(wǎng)總結(jié)

可以看到整個(gè)大數(shù)據(jù)的演進(jìn)已經(jīng)從過(guò)去比較多地關(guān)心存儲(chǔ)計(jì)算能力，發(fā)展到了現(xiàn)在，能夠?qū)⒋鎯?chǔ)計(jì)算封裝起來(lái)往場(chǎng)景開(kāi)發(fā)和應(yīng)用服務(wù)的方向演進(jìn)。

這其實(shí)也是騰訊云大數(shù)據(jù)平臺(tái)接下來(lái)的發(fā)展方向。據(jù)透露，騰訊大數(shù)據(jù)平臺(tái)將會(huì)在數(shù)據(jù)安全、智能化、統(tǒng)一平臺(tái)三大方向重點(diǎn)發(fā)力。

正如雷曉平在采訪中最后對(duì)WeData的未來(lái)期待所描述的那樣：目前大數(shù)據(jù)開(kāi)發(fā)平臺(tái)并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)和協(xié)議，這導(dǎo)致每個(gè)企業(yè)用戶(hù)在平臺(tái)遷移成本上非常高，WeData主打開(kāi)源和開(kāi)放，同時(shí)我們也希望將它做成一個(gè)生態(tài)。

將技術(shù)落實(shí)到場(chǎng)景中，將研究相關(guān)成果開(kāi)放出來(lái)，從WeData身上我們看到了騰訊云對(duì)企業(yè)用戶(hù)真正開(kāi)始了解的一面。

（雷鋒網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。