DeepSeek開源周最后一彈：超快的數(shù)據(jù)存儲和訪問方式3FS

2月28日消息，今日，DeepSeek開源周第五天，也是最后一天，亮出的是3FS，一種高性能并行文件系統(tǒng)。

3FS（Fire-Flyer File System）專為充分利用現(xiàn)代固態(tài)硬盤（SSD）和遠(yuǎn)程直接內(nèi)存訪問（RDMA）網(wǎng)絡(luò)的帶寬而設(shè)計(jì)，能夠加速對數(shù)據(jù)存儲和訪問。

據(jù)介紹，在180節(jié)點(diǎn)的集群中，3FS能夠提供高達(dá)6.6 TiB/s的聚合讀取吞吐量。此外，在25節(jié)點(diǎn)的集群上，3FS通過GraySort基準(zhǔn)測試，達(dá)到了3.66 TiB/min的吞吐量。

3FS不僅在數(shù)據(jù)吞吐量上表現(xiàn)突出，還在單客戶端節(jié)點(diǎn)的KVCache查詢中，達(dá)到了每秒40+ GiB的峰值吞吐量。其去中心化架構(gòu)和強(qiáng)一致性語義，確保了在各種分布式應(yīng)用場景中，數(shù)據(jù)的高效訪問和一致性維護(hù)。

特別是在V3/R1版本中，3FS支持訓(xùn)練數(shù)據(jù)預(yù)處理、數(shù)據(jù)集加載、檢查點(diǎn)保存與重載、嵌入向量搜索和KVCache查詢等關(guān)鍵功能。