PB級數(shù)據(jù)秒級響應！火山引擎ByteHouse云數(shù)倉版有什么“秘密武器”？

“敏捷是企業(yè)在移動互聯(lián)網(wǎng)時代的重要競爭力?！?/p>

在12月2日舉辦的2021火山引擎云產(chǎn)品發(fā)布會上，字節(jié)跳動副總裁楊震原反復強調，字節(jié)跳動以敏捷為核心目標構建了云原生架構，支撐著公司業(yè)務快速創(chuàng)新、快速迭代。

的確，或許沒有哪家公司比字節(jié)跳動更理解“敏捷”的意義。從央視春晚紅包27天備戰(zhàn)，到數(shù)據(jù)中心每天兩萬次的線上變更，這些“敏捷迭代”和創(chuàng)新背后，都離不開字節(jié)跳動的“云”以及一系列云產(chǎn)品。

以算法起家，字節(jié)在超大規(guī)模數(shù)據(jù)明細查詢工具上積累了大量的實踐經(jīng)驗，本次發(fā)布會上，字節(jié)跳動旗下的技術服務平臺火山引擎發(fā)布的ByteHouse云數(shù)倉版便是集大成者。

在講ByteHouse的故事之前，我們先來看一組火山引擎發(fā)布的數(shù)據(jù)：作為目前國內(nèi)幾乎是ClickHouse最大集群的使用客戶，字節(jié)內(nèi)部的ClickHouse節(jié)點總臺數(shù)達15,000臺，單集群最大規(guī)模約2400臺，管理數(shù)據(jù)量達到600Pb，日均查詢量7500萬。

這些數(shù)字量背后，勾勒的是一個超大規(guī)模數(shù)據(jù)分析服務領域的完美測試場景。能在高速增長的業(yè)務現(xiàn)況下，通過技術優(yōu)化讓集群規(guī)模不再跟著業(yè)務增長而增長——是ByteHouse誕生時要解的問題。

從2018年著手，到2021年產(chǎn)品成熟，經(jīng)過4年打磨和積累，字節(jié)將這些能力和實踐全都集成到了ByteHouse的產(chǎn)品功能里。如今，ByteHouse在字節(jié)內(nèi)部，已支持80%的分析應用，包括廣告業(yè)務、用戶增長、A/B測試、算法模型優(yōu)化等等。

應對企業(yè)紛繁多樣的需求，云原生是統(tǒng)一解法

憑借著設計優(yōu)勢、極致的速度性能與靈活可擴展性，ClickHouse在短時間內(nèi)迅速躥紅。

但越來越多人在使用中發(fā)現(xiàn)，隨著節(jié)點數(shù)的增加，只依賴于原生引擎必然會導致更多的人力介入和更高的運維成本。同時，傳統(tǒng)存儲和OLAP技術架構誕生了一系列復雜問題和挑戰(zhàn)：無法支撐實時分析需求，資源利用率偏低，啟動門檻和成本偏高等問題。

針對業(yè)界此類痛點，火山引擎提出了自己的解決方案——發(fā)力云原生，推出ByteHouse云數(shù)倉版。

在12月2日的火山引擎云產(chǎn)品發(fā)布會上，ByteHouse云數(shù)倉版重磅亮相。據(jù)悉，云數(shù)倉版已經(jīng)實現(xiàn)了“四個零”的突破——零分析時延、零啟動門檻、零運維成本和零廠商依賴。

以此為契機，ByteHouse云數(shù)倉版也將作為字節(jié)跳動“敏捷開發(fā)”和“數(shù)據(jù)驅動”的對外輸出，服務更多用戶。

從架構層面入手，存算分離，PB級數(shù)據(jù)秒級響應

作為下一代OLAP引擎，ByteHouse云數(shù)倉版將目光對準了架構層面。通過采用存算分離的架構，將存儲層和計算層解耦，以實現(xiàn)分別無縫擴展存儲資源和計算資源，面對PB級海量數(shù)據(jù)也能高效分析，秒級響應。

ByteHouse云數(shù)倉版產(chǎn)品架構

資源層面，ByteHouse云數(shù)倉版能做到更好的資源隔離。在新一代架構里，ByteHouse引入了多租戶，這也是很多大型****的剛性需求。針對不同的租戶、不同的數(shù)據(jù)，可以分配不同的計算資源，一方面保證性能可控，另一方面可以清楚地看到不同部門和用戶的數(shù)據(jù)與資源使用情況。

這背后是ByteHouse對于云原生的理解——產(chǎn)品云化僅僅是云市場化的一個表象，更深層的邏輯還是要落腳到云原生上，而云原生的本質便是降低用戶的使用成本，和提升用戶的使用體驗，這其中包括了運維、付費和啟動等一系列要素。

例如在啟動門檻上，基于純SaaS的OLAP體驗和標準SQL，ByteHouse云數(shù)倉版能在無需關注部署配置的基礎上，實現(xiàn)1分鐘注冊即可使用，方便業(yè)務用戶自助分析，同時還支持按需啟用計算組，并支持按照分鐘級粒度即用即付，pay as you go。

ByteHouse云數(shù)倉版的接入流程

不斷內(nèi)外兼容，多角度支持數(shù)據(jù)安全

解決市面上現(xiàn)有的開源引擎多年來面臨的問題，然后將這些經(jīng)驗和實踐變成更好用的產(chǎn)品，這是火山引擎的第一步。但這還遠遠不止，ByteHouse技術負責人表示，他們接下來還想通過云原生的升級，逐步迭代和發(fā)展技術，從而幫助更多客戶。

在云產(chǎn)品的兼容上，ByteHouse也表示會就上下游的數(shù)據(jù)產(chǎn)品和工具進行更進一步的兼容，比如Tableau等BI工具。針對私有云部署，ByteHouse也會根據(jù)金融等行業(yè)客戶的需求，針對特有的環(huán)境做出兼容和適配，以復用客戶的虛擬機、K8S和存儲等資源。

在未來實現(xiàn)較好的兼容性后，怎樣降低用戶遷移業(yè)務的成本，這也是需要兼顧的。針對此，火山引擎也會為客戶準備遷移方案，以降低客戶的使用和遷移成本。

在近年來備受關注的數(shù)據(jù)安全問題上，ByteHouse云數(shù)倉版也有一套自己的解決方案。

首先在用戶訪問層面，通過支持RBAC的用戶訪問方式，以更好地實現(xiàn)賬號管理和權限控制。在更底層的層面上，文件層面也做了數(shù)據(jù)的加密，只有通過密鑰的形式才能解碼其中的一些文件。甚至也有客戶會提出通信層面的要求，在分布式過程中存在不同的節(jié)點，通過SSL的協(xié)議來保障通信的安全。同時，在對接云廠商時，ByteHouse也會兼容云廠商本身提供的一些安全機制。

在12月2日的發(fā)布會上，火山引擎總經(jīng)理譚待表示，為了建設開放的云生態(tài)，火山引擎的目標是在未來3年聯(lián)合一千家合作伙伴、助力十萬家客戶實現(xiàn)數(shù)字化轉型。

作為這一“萬有計劃”的重要組成部分，ByteHouse云數(shù)倉版也在進行著充分的準備。