2015年，一名畢業(yè)于斯坦福大學(xué)計(jì)算機(jī)系的碩士研究生胡安創(chuàng)辦并發(fā)布了一種名為IPFS的協(xié)議，旨在打造一種區(qū)別于http傳輸協(xié)議，面向全球、點(diǎn)對(duì)點(diǎn)的分布式版本文件系統(tǒng)。這一協(xié)議的出現(xiàn)，改變了傳統(tǒng)的中心化存儲(chǔ)，正引發(fā)新一輪數(shù)據(jù)存儲(chǔ)革命甚至掀起一場(chǎng)互聯(lián)網(wǎng)革命。

IPFS如何打破中心化存儲(chǔ)走向分布式？簡(jiǎn)單來(lái)說(shuō)，在IPFS網(wǎng)絡(luò)中，文件會(huì)被特殊加密的算法打散成若干個(gè)文件碎片，分散存儲(chǔ)到世界各地的IPFS網(wǎng)絡(luò)節(jié)點(diǎn)中，當(dāng)用戶需要下載數(shù)據(jù)時(shí)，通過(guò)內(nèi)容尋址從最近的節(jié)點(diǎn)將碎片化的內(nèi)容再次拼接起來(lái)，從而替代以往IP尋址。

IPFS能夠有效解決中心化存儲(chǔ)帶來(lái)的高并發(fā)、數(shù)據(jù)冗余、存儲(chǔ)安全、隱私泄露、成本高昂等問(wèn)題，不過(guò)，IPFS分布式存儲(chǔ)對(duì)基礎(chǔ)設(shè)施建設(shè)也有更高的要求和挑戰(zhàn)，如何解決這些挑戰(zhàn)是IPFS快速落地的關(guān)鍵。

上周，第九屆中國(guó)電子信息博覽會(huì)（CITE2021）在深圳會(huì)展中心圓滿收官，展會(huì)的重要組成部分2021深圳分布式存儲(chǔ)峰會(huì)針對(duì)加速IPFS基礎(chǔ)建設(shè)落地展開談?wù)摗?/p>

創(chuàng)新存儲(chǔ)架構(gòu)，按需分層

IPFS分布式存儲(chǔ)作為一種創(chuàng)新型的存儲(chǔ)架構(gòu)，弱化了中心化存儲(chǔ)的極致需求，節(jié)省了服務(wù)提供成本， 但同時(shí)也面臨創(chuàng)新存儲(chǔ)架構(gòu)都需要面臨的難題，用戶既需要大容量，也需要快速訪問(wèn)，又需要低成本，還需要低功耗。

“其實(shí)很難找到一個(gè)存儲(chǔ)介質(zhì)或存儲(chǔ)設(shè)備能夠同時(shí)滿足這四個(gè)方面的用戶需求，但好消息是在創(chuàng)新存儲(chǔ)架構(gòu)時(shí)，也可以作為系統(tǒng)來(lái)滿足用戶各種存儲(chǔ)創(chuàng)建的需求，因?yàn)橛脩舻臄?shù)據(jù)是要進(jìn)行分層的，不同類型用戶數(shù)據(jù)有不同的存儲(chǔ)要求?！?西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼在2021深圳分布式存儲(chǔ)峰會(huì)上說(shuō)道。

為此，西部數(shù)據(jù)提出“分層存儲(chǔ)”的概念，在“存儲(chǔ)金字塔”中根據(jù)應(yīng)用場(chǎng)景的不同將存儲(chǔ)分為五層，從低到高依次為極冷存儲(chǔ)、冷存儲(chǔ)、溫存儲(chǔ)、熱存儲(chǔ)和極熱存儲(chǔ)。其中冷存儲(chǔ)和極冷存儲(chǔ)針對(duì)海量存儲(chǔ)的大數(shù)據(jù)，熱存儲(chǔ)和極熱存儲(chǔ)針對(duì)能夠提供快速訪問(wèn)的快數(shù)據(jù)。

具體而言，極冷存儲(chǔ)層的寫入次數(shù)較少，數(shù)據(jù)需要長(zhǎng)期歸檔，基礎(chǔ)金融數(shù)據(jù)、基本醫(yī)療資料以及廣電行業(yè)都屬于極冷存儲(chǔ)層，SMR HDD就適用于這樣的場(chǎng)景。冷存儲(chǔ)有高容量需求且讀取次數(shù)多，在線交易用戶畫像分析就是典型的冷存儲(chǔ)，可以使用大容量企業(yè)級(jí)HDD。

溫存儲(chǔ)層需要較高性能IOPS，有一定的帶寬要求，主流SSD/HDD適用于這樣的場(chǎng)景。高性能SSD適合熱存儲(chǔ)層，DRAM/SCM等新型內(nèi)存介質(zhì)適合極熱存儲(chǔ)層。

“針對(duì)冷存儲(chǔ)和極冷存儲(chǔ)，IPFS服務(wù)商幾乎在過(guò)去四個(gè)季度就走完了云服務(wù)商過(guò)去四年的硬盤演進(jìn)過(guò)程，從8T進(jìn)化到18T。相比升級(jí)到14T，升級(jí)到18T可以獲得同樣存儲(chǔ)容量的情況下，減少服務(wù)器數(shù)量和提高存儲(chǔ)密度，因此如今很多IPFS公司已經(jīng)在本季度考慮遷移到18T高密度硬盤上?！眲撜f(shuō)道。

針對(duì)IPFS存儲(chǔ)痛點(diǎn)，優(yōu)化計(jì)算和存儲(chǔ)集群

IPFS分布式存儲(chǔ)需要解決的落地難題，除了作為一種新型存儲(chǔ)架構(gòu)都要解決的難題外，自身也有許多存儲(chǔ)痛點(diǎn)，具體包括數(shù)據(jù)吞吐量低、空間利用率低、擴(kuò)容難、總體擁有成本高、運(yùn)維低效以及故障懲罰高。

劉鋼表示，存算分離已經(jīng)是IPFS層面的共識(shí)，如果在IPFS的計(jì)算集群用7.68T的SSD，存儲(chǔ)集群中使用18T的高密度硬盤，存儲(chǔ)痛點(diǎn)將得到進(jìn)一步改善。“用4U60+18T的配置，相比傳統(tǒng)的4U36+16T的配置，機(jī)柜數(shù)減少了約46%，功耗減少了大約36%，大規(guī)模地降低了部署成本和運(yùn)維成本。”

針對(duì)IPFS的存儲(chǔ)集群，西部數(shù)據(jù)目前有高密度的磁盤擴(kuò)展柜、大容量的18T硬盤，還有Ultrastar DC SN640 NVMe SSD來(lái)作為緩存。

針對(duì)IPFS的計(jì)算集群，西部數(shù)據(jù)有Ultrastar DC SN640 NVMe SSD和 Ultrastar DC SN840 NVMe SSD寫密集型的SSD來(lái)提供支持。“我們發(fā)現(xiàn)有很多計(jì)算節(jié)點(diǎn)會(huì)把P1和P2功能的服務(wù)器進(jìn)行拆分，因?yàn)镻1可以并行，P2不能并行，但達(dá)到一定規(guī)模后再對(duì)P1和P2進(jìn)行拆分，會(huì)發(fā)現(xiàn)雖然計(jì)算性能提高了，但兩個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)傳輸會(huì)帶來(lái)一定的損失，這是采用高速的SSD緩存吃通過(guò)NVMe-oF連接到高速閃存池中，既降低成本，又提高效率。”劉鋼說(shuō)道。

目前已有不少?gòu)S商與西部數(shù)據(jù)合作，利用西部數(shù)據(jù)的存儲(chǔ)技術(shù)針對(duì)IPFS的解決方案。劉鋼介紹到，西部數(shù)據(jù)已經(jīng)與星辰天合、浪潮三方合作推出了IPFS解決方案，方案包括西部數(shù)據(jù)Ultrastar DC HC550 18T硬盤、浪潮英信服務(wù)器NF5466M5、XSKY文件存儲(chǔ)系統(tǒng)等關(guān)鍵組件。該方案不僅實(shí)現(xiàn)了快速部署、便捷運(yùn)維，還有助于減少IPFS業(yè)務(wù)的異常情況帶來(lái)的損失，大幅度提升業(yè)務(wù)收益。

杉巖作為一家分布式存儲(chǔ)軟件提供商，同時(shí)采用西部數(shù)據(jù)的高密度硬盤和高密度的4U60存儲(chǔ)擴(kuò)展機(jī)柜，提高密度降低成本，獲得高可靠性和高穩(wěn)定性。

在存儲(chǔ)廠商和IPFS廠商的共同努力下，IPFS分布式存儲(chǔ)的基礎(chǔ)設(shè)施建設(shè)正加速落地。

文中圖片源自西部數(shù)據(jù)

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

相關(guān)文章：

五十知「天命」，西部數(shù)據(jù)的存世之法

西部數(shù)據(jù)能更快推出RISC-V處理器的關(guān)鍵之一是什么？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。