騰訊2021sigmod論文Spitfire分析
Spitfire:易失和非易失性內(nèi)存的三層buffer管理
Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory
機制
1、cache line page
將page分割成cache line大小,一個cache line為64字節(jié)。由于PM可以字節(jié)尋址,所以可以以cache line的粒度進行讀寫page。頁頭結(jié)構(gòu)中有標記哪個cache line為臟的位圖表,1表示臟。并且有resident字段位圖標記哪個cache line加載到了內(nèi)存,若無加載,這部分在內(nèi)存中不占空間,節(jié)省內(nèi)存。
2、HYMEM
《managing nvm in database system》分三層架構(gòu)DRAM-NVM-SSD。
1)SSD上數(shù)據(jù)頁大小16kb,當事務請求時加載到DRAM
2)使用時鐘算法替換DRAM中的數(shù)據(jù)頁,PM中使用同樣算法
3)判斷什么條件下降DRAM中數(shù)據(jù)頁持久化到PM?
4)采用一個準入PM的隊列來協(xié)助是否將數(shù)據(jù)頁持久化到PM。
5)默認的讀路徑:SSD->NVM->DRAM->CPU
6)默認的寫路徑:CPU->DRAM->NVM->SSD
7)讀時首先看是否在DRAM,不在時看是否在NVM,都不在則需要將SSD上全頁直接加載到DRAM
8)DRAM替換數(shù)據(jù)頁時,首先看他在沒在準入隊列,若在則將其從隊列刪除,并持久化到PM;否則將其標記到準入隊列,將該頁直接持久化到SSD
9)優(yōu)點:減少了PM寫,以及不同層級之間數(shù)據(jù)的移動
缺點:非并發(fā)操作,沒有在真實的PM環(huán)境上測試。
3、spitfire
使用概率的方法控制不同層級之間數(shù)據(jù)的遷移,實現(xiàn)冷熱數(shù)據(jù)分離。確保DRAM中是熱數(shù)據(jù),NVM中是溫數(shù)據(jù),SSD中是冷數(shù)據(jù)。
1)Dr:讀時,將NVM移動到DRAM中的概率。比如0.01表示每讀取100次,才將NVM中數(shù)據(jù)頁遷移到DRAM
2)Dw:寫時需要輔助DRAM的概率
3)Nr:讀操作時,將SSD遷移到NVM的概率
4)Nw:寫的過程中,buffer管理器將DRAM遷移到NVM的概率
5)數(shù)據(jù)遷移這些概率依賴于工作負載,自適應調(diào)整。
6)通過對每層加一個latch,遷移時用到哪層,就對哪層加鎖,實現(xiàn)并發(fā)
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
11月20日火熱報名中>> 2024 智能家居出海論壇
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
精彩回顧立即查看>> 【在線會議】多物理場仿真助跑新能源汽車
推薦專題
- 1 腦機接口芯片,華為出了新專利!
- 2 今年諾獎對人工智能的重視,給我們的基礎(chǔ)教育提了個醒
- 3 銀行業(yè)AI大模型,從入局到求變
- 4 巨頭搶布局,VC狂撒錢,為了能讓「AI讀心」這些公司卷瘋了
- 5 阿斯麥ASML:“骨折級”洋相,又成AI第一殺手?
- 6 蘋果市值創(chuàng)新高,iPhone 16能否助力突破4萬億美元大關(guān)?
- 7 一場“載入史冊”的發(fā)布會,讓馬斯克失去了4700億
- 8 百度谷歌比較研究2024:中美“遠古AI龍頭”的現(xiàn)狀與趨勢
- 9 洞見AI風潮 第二屆vivo藍河操作系統(tǒng)創(chuàng)新賽開啟招募
- 10 地平線開啟配售,阿里百度各砸5000萬美金,市值最高超500億
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市