0
| 本文作者： 張帥 | 2019-09-12 12:47 |
在京東的投資版圖上，宿遷絕對是備受關注的一個點，原因也無需贅述。雷鋒網了解到，京東在宿遷的投資項目一共有12個，計劃投資近200億元，已建成京東信息科技園、京東智慧物流全國調度運營中心等5個項目，完成投資65.5億元；近期已開工和即將開工項目7個，計劃總投資130億元。
京東云華東（宿遷）數據中心就是京東在宿遷的重要布局，在計算力代表生產力的互聯網行業(yè)，云計算之下的數據中心在某種意義上象征著基礎硬實力，京東云華東數據中心建設于2015年，總投資35億，一期投資15億，二期計劃投資8至10億，現已投入6億，整個園區(qū)占地200畝左右，相當于19個足球場大小，是京東云骨干網絡節(jié)點核心數據中心之一。
數據中心是京東龐大的業(yè)務體系的技術支撐，華東數據中心又是京東自建的第一個數據中心，承載業(yè)務規(guī)模和種類相當齊全，毫不夸張的說，京東有一部分是建立在宿遷之上。
京東云華東（宿遷）數據中心一號園區(qū)占地200畝，總投資超30億元，其中設備投資約24億元，總建筑面積5.5萬平方米，包括4棟數據中心樓（模塊）和一棟綜合樓。
一期數據中心的投產也經歷了三個階段，先是2015年投產的模組1，華東數據中心2014年底拿地并開始設計，2015年4月份土建開工，2016年4月實際運營，建設速度還是比較快的，這也和當時京東業(yè)務發(fā)展速度暴增，需要數據中心來支撐有關，彼時快速運營才是第一要求。
因為建設速度快且宿遷并不是最初選址地，模組1沒有采用大膽技術嘗鮮，而是采用更為成熟的方案，不過模組1也給了其他模組以參考，京東云在后續(xù)的模組建設中就充分吸收了模組1的建設經驗，模組1設計PUE是1.4，實際運營過程中京東云將PUE控制在年均PUE≤1.3（實測）。
1模組內部的數據機房和配電室由相同的小模塊組合而成，可根據使用需求靈活布置、調整模塊內容。單個數據中心模塊的建立面積為6萬多平米，總機柜數1138個，分別布置在10個模塊機房內，4個標準模（4KW）、3個高密模塊（8KW）2個網絡傳輸間，和1個微模塊（12W）機房，總能存放約4萬5千多臺標準服務器。
模組4在相同地板面積的情況下增加了35%的機柜數量，4模組可容納1556個機架，單機柜功率在4kw到12kw，設計PUE小于1.35。模組4在供電方面采用高壓直流加UPS加市電直供方式，針對不同業(yè)務采用不同供電模式，另外在冷卻系統(tǒng)方面用上了平滑自然冷卻技術。
京東云數據中心水冷機房
數據中心空調系統(tǒng)的能耗一般占總能耗的20%-40%左右，其中制冷壓縮機的能耗又占到空調系統(tǒng)總能耗的70%-90%。因此，利用自然冷源來解決數據中心的散熱問題成為數據中心創(chuàng)新技術的核心考量之一。
傳統(tǒng)自然冷卻板換的開啟只有0和1兩種狀態(tài)，不能和冷機并行運行，京東云的創(chuàng)新是在數據中心外樓放置數十個溫度、濕度、風速和液位等傳感器，機房內不采用傳統(tǒng)的點裝式探頭，而是光纖測溫，規(guī)模應用不僅提高了精度還降低了成本。
中央控制系統(tǒng)對室外、室內、溫度、水及設備各方面數據進行采集，進而控制系統(tǒng)閥門、變存器，帶動風機、水泵，包括控制冷水機系統(tǒng)實現平滑聯動。冬天板換完全打開，冷機停止工作，在過渡季板換可開啟一定的角度，冷機部分運行，甚至可以開半臺冷機，基本實現無人工干擾下的自動運行。
江蘇宿遷地區(qū)，一年中大部分時間的溫度在-5~35℃之間，年均氣溫14.2℃。京東數據中心相關負責人表示，在宿遷的天氣狀況下，一年大概有1/3的時間可利用板換冷卻，通過平滑自然冷卻技術，一年有將近5個月的時間可以完全利用室外的自然冷源，大幅降低運營成本。
實際運行中，冷凍水系統(tǒng)在室外日平均溫度持續(xù)5天以上低于10度時，切換到自然冷卻系統(tǒng)使用，日平均溫度持續(xù)5天以上高于10度時，開始退出。全年基本可以分為免費制冷季和常規(guī)制冷季。
“我們在傳統(tǒng)的Freecooling技術基礎上，增加了一套自主設計的氣候環(huán)境采集控制系統(tǒng)，完全實現了制冷系統(tǒng)根據室內外環(huán)境溫度、濕度、系統(tǒng)負荷大小、平滑連續(xù)的調節(jié)各組件運行狀態(tài)，始終保持系統(tǒng)在最佳的效率區(qū)間。而且全年可以“免費”使用自然冷源的時間高達180天以上，直接節(jié)約電費數百萬元以上“，京東方面表示。
雷鋒網了解到，京東云宿遷數據中心一號園區(qū)4個模組建成可容納5800個機柜，實際服務器數量可超15萬臺，此外園區(qū)還采用了大規(guī)模雨水回收再利用系統(tǒng)、物理阻垢水處理系統(tǒng)，降低污染，整體基礎設施可靠性不低于99.985%。
京東云宿遷數據中心搭載定制化第二代英特爾至強可擴展處理器，搭配傲騰數據中心級持久內存，多核高主頻設計滿足了京東云高性能計算、大內存配置和高網絡吞吐需求。京東云公有云目前已完成4個區(qū)域 、10個可用區(qū)（華北北京、華東上海、華東宿遷、華南廣州）的整體布局，另有數十個遍布全國的IDC設施。
二期：風側間接蒸發(fā)冷卻
如果說宿遷1號園區(qū)還只是小試牛刀，那么2號園區(qū)的建設思路更加體現了新互聯網巨頭的進擊心。九月初傳來消息，京東云華東數據中心二期土地已完成摘牌，目前正在進行方案深化設計。
宿遷2號園區(qū)緊鄰1號園區(qū)，占地約260畝，總投資大于60億元，同樣是4棟數據中心樓，不過設計機柜數量是一萬個，預計能裝下20萬臺服務器。
京東云數據中心內部機柜
根據京東規(guī)劃，2號園區(qū)在2018年底完成數據中心規(guī)劃和土建施工前期準備工作；2019年中期完成核心數據中心建筑物交付；2019年12月計劃交付5000臺機柜，2021年交付剩余全部機柜。
相較于1號園區(qū)，2號園區(qū)將采用風側間蒸發(fā)冷卻技術，預計年平均PUE低于1.2。據說宿遷數據中心的建設曾考慮引入周邊駱馬湖水做自然水源的冷卻方式，但是對生態(tài)環(huán)境的隱形影響無法評估，京東當即拍板摒棄這種方式。
間接蒸發(fā)冷卻技術在國內外數據中心均已有應用，京東針對宿遷數據中心做了本土化定制，包括進出風結構和尺寸等細節(jié)。單層數據中心，蒸發(fā)冷卻設備按在上部，熱通道封閉，熱風蒸發(fā)向上進入冷卻設備里面去，交換過的冷風反送到服務器。多層數據中心蒸發(fā)冷卻設備放在側面，側進風側排風。
初步測算，2號園區(qū)若采用風側間蒸發(fā)冷卻，可以實現一年85%以上時間不啟動機械制冷。
關于選址宿遷，還有一個故事。京東2012年開始數據中心選址，調研了十多個城市，宿遷并不在其中，京東數據中心專家拿著100多頁的報告去向劉強東匯報，1個小時之后，劉強東發(fā)問，“你們的數據中心為什么不選擇建在宿遷”？
從技術角度上，宿遷并不在傳統(tǒng)意義上的數據中心選址考慮之列。劉強東提出了兩個原則，第一，數據中心建在宿遷，盡快建成；第二，解決當地互聯網基礎設施薄弱問題，通過數據中心促進當地互聯網產業(yè)的調整和升級。騰訊在深圳、阿里在杭州、百度在陽泉的數據中心等，都可以理解為互聯網大佬的家鄉(xiāng)情結，不過宿遷的網絡條件還是要更差得多。
網絡條件是京東華東數據中心面臨的所有難題中的最大瓶頸。為此，京東和三大運營商分別進行了溝通，在模組1投產時，已經實現中國聯通的骨干網絡從徐州直連宿遷，不必通過南京再返回，少了600km的線路延遲，實測過程中，數據從北京到宿遷相比到南京有更低的時延。
京東云通過自建BGP解決單運營商網絡中斷的問題，三? ISP互為備份，京東云與各ISP直接互聯，緩解運營商大區(qū)間網絡通信異常問題。京東云自建BGP作為電信運營商與京東云數據中心的中間層，以?級運營商的作?，向公有云/私有云/甚?是合作伙伴的數據中?提供質量穩(wěn)定可靠互聯?接?服務。
各全國區(qū)域間均采?雙平面設計，雙活并互為備份。在區(qū)域內，各數據中心雙上聯到2個骨?機房，通過骨?機房與各ISP互聯網、其它區(qū)域骨干網互聯。并且同區(qū)域的各數據中心之間互聯，通過骨?機房的雙星形結構?跳到達，在確保傳輸成本利?率最?的情況下、確保了傳輸延時和質量。
京東云業(yè)務的快速發(fā)展對數據中心提出了更高要求，雷鋒網獲悉，京東已經在廊坊、張家口等地籌劃新數據中心的建設。
京東宿遷數據中心還有更多的黑科技尚待發(fā)掘，比如更先進的浸沒式液冷、智能巡檢機器人等等，京東華東數據中心落地宿遷后，為當地提供了互聯網基礎設施能力，吸引了一批互聯網企業(yè)遷入，與其說京東選擇了宿遷，倒不如說數據中心為宿遷打開一扇通往互聯網的窗口。
相關文章：
5G時代需要什么樣的服務器和數據中心？ | MWC 2019
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
