今日獲悉，騰訊云數(shù)據(jù)庫4篇論文入選國際數(shù)據(jù)庫頂級(jí)會(huì)議VLDB，多項(xiàng)優(yōu)化創(chuàng)新方案突破了數(shù)據(jù)庫領(lǐng)域的性能瓶頸數(shù)等多項(xiàng)難題，技術(shù)創(chuàng)新能力再獲國際權(quán)威認(rèn)可。

VLDB（International Conference on Very Large Data Bases）是數(shù)據(jù)庫研究領(lǐng)域歷史悠久的國際會(huì)議，與ICDE和SIGMOD并稱數(shù)據(jù)庫三大頂級(jí)會(huì)議，每年為數(shù)據(jù)庫領(lǐng)域提供大量高質(zhì)量的研究論文和研究成果，具有重要的學(xué)術(shù)價(jià)值和行業(yè)引導(dǎo)意義。

 

近些年，隨著新興技術(shù)迅猛發(fā)展,各行各業(yè)產(chǎn)生的數(shù)據(jù)量呈爆炸式增長分布式、云原生等多種場(chǎng)景數(shù)據(jù)庫應(yīng)運(yùn)而生。與此同時(shí)，分布式場(chǎng)景也迎來如何權(quán)衡性能與一致性等一系列新的挑戰(zhàn)。

在入選論文——《TDSQL: Tencent Distributed Database System》中，騰訊云分享了設(shè)計(jì)、開發(fā)和優(yōu)化大規(guī)模分布式數(shù)據(jù)庫系統(tǒng)TDSQL的經(jīng)驗(yàn)。在分布式架構(gòu)上，TDSQL通過大量的實(shí)現(xiàn)和優(yōu)化，包括內(nèi)核優(yōu)化、物理復(fù)制的實(shí)現(xiàn)與優(yōu)化、分布式鎖的優(yōu)化等，使得TDSQL能在保持一致性的情況下有效處理大量數(shù)據(jù)和高并發(fā)。在去年3月的TPC-C 基準(zhǔn)測(cè)試中，TDSQL性能達(dá)到每分鐘 8.14 億筆交易（tpmC），打破了世界紀(jì)錄。

在高性能的鍵值存儲(chǔ)引擎中，高性能索引結(jié)構(gòu)往往需要占用過量內(nèi)存以換取極高的索引性能。針對(duì)這一熱門研究課題，騰訊云與華中科技大學(xué)合作的最新研究成果《FluidKV: Seamlessly Bridging the Gap between Indexing Performance and Memory-Footprint on Ultra-Fast Storage》中提出了一種兼顧高讀寫性能和低內(nèi)存占用的索引機(jī)制。

這種基于動(dòng)態(tài)多階段的索引架構(gòu)FluidKV，可將索引項(xiàng)從內(nèi)存占用率高的階段，快速遷移到內(nèi)存友好的持久存儲(chǔ)階段，利用高性能存儲(chǔ)設(shè)備的帶寬減輕內(nèi)存壓力。在此基礎(chǔ)上，通過匹配IO傳輸粒度，并根據(jù)用戶負(fù)載讀寫比例優(yōu)化緩沖等方式，可以讓讀寫性能保持在最高檔位。實(shí)驗(yàn)結(jié)果顯示，對(duì)比持久索引的相關(guān)工作，F(xiàn)luidKV的讀寫性能均處于最高一檔，同時(shí)最多可減少90%的內(nèi)存占用。

 

  （騰訊云數(shù)據(jù)庫團(tuán)隊(duì)現(xiàn)場(chǎng)分享論文） 

此外，騰訊云與北京大學(xué)、北京交通大學(xué)合作的最新研究成果也入選了2024年VLDB長文，文章《Efficient and Accurate SimRank-based Similarity Joins: Experiments, Analysis, and Improvement》提出了高效且準(zhǔn)確的SimRank圖節(jié)點(diǎn)相似度連接算法，實(shí)驗(yàn)表明，該算法較已有方法實(shí)現(xiàn)了查詢效率近一個(gè)數(shù)量級(jí)的提升。

隨著CPU、大內(nèi)存、高速存儲(chǔ)設(shè)備的發(fā)展，讓CPU更多的用于實(shí)際的計(jì)算任務(wù)是高效利用這些新硬件的關(guān)鍵之一。但目前，整個(gè)數(shù)據(jù)庫系統(tǒng)中，存在大量的等待事件，會(huì)導(dǎo)致CPU“卡住”，即讓CPU處于無效的等待狀態(tài)，造成CPU資源的浪費(fèi)。

在入選論文《The Art of Latency Hiding in Modern Database Engines》中，騰訊云則聯(lián)合西蒙·弗雷澤大學(xué)，針對(duì)高性能的OLTP處理難題，提出了基于雙隊(duì)列的流水線事務(wù)處理機(jī)制，可以進(jìn)一步減少CPU的無效等待，讓CPU充分應(yīng)用于實(shí)際的計(jì)算任務(wù)中。實(shí)驗(yàn)表明，在數(shù)據(jù)量大于內(nèi)存、混合負(fù)載的場(chǎng)景下，該系統(tǒng)可取得33倍的性能提升。

作為國內(nèi)數(shù)據(jù)庫行業(yè)先行者，騰訊云已經(jīng)深耕數(shù)據(jù)庫領(lǐng)域十余年，服務(wù)超過50萬客戶，未來，騰訊云將持續(xù)深耕實(shí)際場(chǎng)景需求，不斷探索與攻堅(jiān)數(shù)據(jù)庫難題，推動(dòng)數(shù)據(jù)庫領(lǐng)域的學(xué)術(shù)進(jìn)步與技術(shù)成果轉(zhuǎn)化，助力更多企業(yè)實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新與高質(zhì)量發(fā)展。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。