您的位置: 首頁 > 特刊

舊瓶難裝新酒 分布式數(shù)據(jù)庫攻關(guān)傳統(tǒng)運維難題

出處:北京商報 作者:劉四紅 網(wǎng)編:武杉 2024-08-07

數(shù)據(jù)庫,和芯片、操作系統(tǒng)一樣,是現(xiàn)代信息技術(shù)的三大核心基礎之一,是IT基礎軟件的“命門”。數(shù)據(jù)庫的安全、穩(wěn)定、可靠、性能、容量,對國計民生有根本性的影響,也直接影響數(shù)字化轉(zhuǎn)型的進程。

這話毫不夸張,隨著信息技術(shù)的迅猛發(fā)展,各行各業(yè)產(chǎn)生的數(shù)據(jù)量呈爆炸式增長,傳統(tǒng)集中式數(shù)據(jù)庫的局限性在面對大規(guī)模數(shù)據(jù)處理中逐漸顯露,分布式數(shù)據(jù)庫應運而生。

北京商報記者了解到,分布式數(shù)據(jù)庫解決了傳統(tǒng)集中式單機數(shù)據(jù)庫時期的問題,打破了后者面對海量數(shù)據(jù)在處理、存儲、性能等方面存在的瓶頸,且分布式數(shù)據(jù)庫的高可用能力,保證了不會因為單點故障而影響整體的可用性,這也保障了金融、電信等對高可用需求較高業(yè)務的連續(xù)性。

企業(yè)供圖

/重構(gòu)“根基”/

什么是數(shù)據(jù)庫?不少人對此還較為陌生。

有人這樣解釋,你可以將數(shù)據(jù)庫看作為一名“超級會計師”,如果沒有數(shù)據(jù)庫,存儲的數(shù)據(jù)可能像把一堆書隨意堆放在房間里,不易找尋還容易丟失。但有了數(shù)據(jù)庫,就能按特定的規(guī)則和順序來存放這些數(shù)據(jù),還能進行各種查詢、更新、刪除等操作。

那么,分布式數(shù)據(jù)庫對于金融行業(yè)來說又有何意義?

近年來,數(shù)字化轉(zhuǎn)型已經(jīng)逐步從頭部金融機構(gòu)帶動效應下的“選擇題”,發(fā)展成為幾乎所有金融機構(gòu)需要面對的“必答題”。隨著全面邁入數(shù)字經(jīng)濟時代,數(shù)據(jù)量也正在從TB級躍升至PB級,甚至ZB級。

OceanBase CEO楊冰進一步告訴北京商報記者,IT領(lǐng)域“舊瓶”(舊的數(shù)據(jù)架構(gòu))難裝“新酒”(新的數(shù)據(jù)量級),數(shù)字化轉(zhuǎn)型也需要一套現(xiàn)代數(shù)據(jù)架構(gòu)的有力支撐。其中,數(shù)據(jù)庫就相當于“大樹”(數(shù)據(jù)架構(gòu))的“根基”,“根基”決定“果實”(數(shù)字化轉(zhuǎn)型)的優(yōu)良。立足當下,傳統(tǒng)數(shù)據(jù)庫已不能滿足現(xiàn)代數(shù)據(jù)架構(gòu)需求,金融機構(gòu)急需徹底重構(gòu)“根基”。

OceanBase是螞蟻集團自研的原生分布式數(shù)據(jù)庫。此前,中國的數(shù)據(jù)庫市場幾乎都是海外產(chǎn)品,但隨著訪問量、交易量指數(shù)級攀升,所對應要購買的數(shù)據(jù)庫資源也隨之直線攀升,企業(yè)不堪重負,瓶頸也很快顯現(xiàn)。

有報告指出,傳統(tǒng)數(shù)據(jù)庫在數(shù)字經(jīng)濟時代面臨技術(shù)架構(gòu)復雜、使用成本高以及安全性等嚴峻挑戰(zhàn),企業(yè)迫切需要采用新一代數(shù)據(jù)庫來處理海量數(shù)據(jù),利用架構(gòu)升級來消弭高昂的軟硬件成本,并需要加強數(shù)據(jù)分析能力以推動企業(yè)洞察驅(qū)動的決策模式,從而進一步加速數(shù)字化轉(zhuǎn)型。

“那個時候的數(shù)據(jù)庫都是集中式,沒有辦法處理大數(shù)據(jù),面對高并發(fā)的一些場景也沒有擴展能力,隨著互聯(lián)網(wǎng)的需求爆發(fā)式增長,我們需要一個有擴展能力的分布式數(shù)據(jù)庫,所以我們就決定自己做。”楊冰介紹,從0至1,很多都得打破重來,如何重新設計一個架構(gòu)適應未來的發(fā)展,是技術(shù)上的難點;另外,如何處理海量數(shù)據(jù)以及確保數(shù)據(jù)一致等等,也是逐步解決掉的問題。

“數(shù)據(jù)庫是用出來的。”楊冰稱,OceanBase從2010年立項,寫下第一行代碼,堅持完全自主研發(fā),在過去十多年間,從互聯(lián)網(wǎng)支付核心到全場景金融核心,再到政企民生、運營商核心場景,以及新零售、新制造、互聯(lián)網(wǎng)海量場景,OceanBase參與并支持了多次關(guān)鍵業(yè)務負載,并不斷深度完善、快速迭代。

/擇最優(yōu)執(zhí)行路徑/

隨著業(yè)務發(fā)展與數(shù)據(jù)處理需求的變化,傳統(tǒng)數(shù)據(jù)庫方案逐漸面臨業(yè)務抖動、擴展難、處理時延大、成本高等諸多困境,許多行業(yè)及業(yè)務場景都在謀求數(shù)據(jù)庫現(xiàn)代化升級。但什么樣的數(shù)據(jù)庫能解決擴展性、穩(wěn)定性和運維問題?在業(yè)內(nèi)看來,這對于提升企業(yè)的競爭力至關(guān)重要。

北京商報記者了解到,在當今多樣化的業(yè)務環(huán)境中,不同行業(yè)對數(shù)據(jù)庫系統(tǒng)的需求各不相同。例如,金融風控場景需要高效的事務處理(TP)和分析處理(AP)數(shù)據(jù)庫;游戲行業(yè)則更關(guān)注文檔數(shù)據(jù)庫的靈活性和性能;而基于位置服務的業(yè)務對GIS空間數(shù)據(jù)庫的依賴尤為突出。

業(yè)務場景的復雜性導致數(shù)據(jù)庫運維過程中面臨諸多挑戰(zhàn),包括備份恢復、現(xiàn)網(wǎng)巡檢、安全與法規(guī)遵從、故障排查、維護升級和性能調(diào)優(yōu)等。

傳統(tǒng)的單一數(shù)據(jù)庫系統(tǒng)難以全面滿足多樣化的業(yè)務需求。運維過程中,多數(shù)據(jù)庫系統(tǒng)的多樣化訴求不僅增加了數(shù)據(jù)庫管理員(DBA)的工作量,還對其技能提出了更高的要求。隨著引入數(shù)據(jù)庫系統(tǒng)的增多,運維的復雜程度成倍增加。

“這種情況下,數(shù)據(jù)庫的多模能力顯得尤為重要,它能夠統(tǒng)一管理和處理不同類型的數(shù)據(jù),在提高效率的同時簡化技術(shù)棧,從而滿足復雜多變的業(yè)務需求。”OceanBase資深技術(shù)專家張易談及了多個方面。

業(yè)內(nèi)許多數(shù)據(jù)庫的多模功能通常以解決方案的形式呈現(xiàn),其中每個引擎都是垂直的,即每一種模型都是一個數(shù)據(jù)庫,它們之間相互獨立。但OceanBase采用了一種不同的方法,在OceanBase中無論是KV多模還是SQL多模,它們都共享同一個分布式存儲引擎。例如,SQL多模會共享OceanBase的SQL引擎,包括其中的執(zhí)行及優(yōu)化能力。由于這種共享,OceanBase底層的分布式存儲引擎的演進也會統(tǒng)一影響到多個模型。張易解釋,這樣的設計帶來的好處在于,用戶不再需要擔心單一模型的生態(tài)和演進問題。不但可以實現(xiàn)多模融合計算、多模融合存儲、多模一體化運維,基礎引擎的優(yōu)勢也將會乘以N。

在具體場景應用上,張易介紹,以基于位置的服務為例,假設需要查詢距離最近且評分超過4分的奶茶店中的前10條好評。這個需求涉及多個方面。首先,需要篩選評分超過4分的奶茶店,這是普通的結(jié)構(gòu)化關(guān)系型數(shù)據(jù)庫擅長的處理,即以“評分4分以上”作為過濾條件即可。其次,需要找到距離最近的奶茶店,這是典型的基于位置的查詢服務,是空間數(shù)據(jù)庫擅長的處理。另外,需要考慮10條好評,這里的評價一般都是文本,文本內(nèi)容是否屬于好評很難判斷,可以基于文本內(nèi)容提取文本語義做向量檢索,從而得出判斷。

那么,如何結(jié)合這些查詢條件,最終選擇何種執(zhí)行路徑呢?是使用向量索引還是使用空間索引,還是使用普通TP索引?張易稱,OceanBase通過多模引擎和優(yōu)化器的融合,能夠選出最優(yōu)的執(zhí)行路徑,從而為客戶帶來更佳的查詢結(jié)果、查詢響應時間和資源消耗。

據(jù)了解,OceanBase的多模能力,可使用戶無需為不同類型的數(shù)據(jù)部署不同的數(shù)據(jù)庫,只需使用一個數(shù)據(jù)庫、一個引擎即可。OceanBase原生支持多種數(shù)據(jù)模型,包括SQL和NoSQL,為用戶提供了根據(jù)自身需求選擇合適數(shù)據(jù)模型的便利。

北京商報

北京商報

北京商報

/大規(guī)模部署階段/

“對于我們這樣自研的數(shù)據(jù)庫,且又是一個新品牌,最大的挑戰(zhàn)就是客戶的信任問題,”談及在推廣初期遇到的困難,楊冰記憶猶新,OceanBase團隊曾為了爭取某國有大型保險公司的項目,與其他廠商“競賽”了近一個月。

“當時,整個核心系統(tǒng)數(shù)據(jù)量非常龐大,上千萬行老代碼需要兼容,短時間內(nèi)要完成遷移上線,且業(yè)務盡可能少改動,在這么短的時間內(nèi)基本是不可能完成的事情,但我們還是希望能挑戰(zhàn)一下硬骨頭。”楊冰稱,“因為還有其他廠商一起競賽這個項目,整個競爭架勢有點像百米賽跑,為此,我們快速集結(jié)了一個7人最強小分隊,幾乎是大家日夜兼程,開發(fā)和測試同步進行,最終用了28天的時間完成上線。這一次的勝出,也充分體現(xiàn)了我們的自研能力、代碼掌控能力以及解決問題的能力,通過這樣一次戰(zhàn)斗,也獲得了更多的同行業(yè)客戶信任。”

OceanBase誕生于金融場景,據(jù)介紹,截至目前,OceanBase已經(jīng)累計服務了數(shù)百家金融機構(gòu),覆蓋70%資產(chǎn)規(guī)模千億元以上的銀行,在證券、保險、基金行業(yè)的Top20資產(chǎn)規(guī)模企業(yè)中,覆蓋率分別為75%、65%、45%。其中大部分涉及核心系統(tǒng)數(shù)據(jù)庫升級,尤其以頭部銀行、頭部保險公司為代表的金融機構(gòu)開始涉足“無人區(qū)”,率先進行核心系統(tǒng)數(shù)據(jù)庫的分布式升級。

以某國有大行為例,國內(nèi)首個貸記卡核心系統(tǒng)“大機下移”分布式已經(jīng)運行一年有余,目前已有ECIF、對公網(wǎng)銀等幾十套系統(tǒng)數(shù)據(jù)庫升級至OceanBase,傳統(tǒng)核心也在基于OceanBase進行大機下移和單元化改造。

楊冰向北京商報記者介紹,不同規(guī)模金融機構(gòu)數(shù)據(jù)庫升級需求各不相同,大型金融機構(gòu)基礎設施較好,對TPS、響應時間等各方面的要求較高,另外,大型金融機構(gòu)需要整體升級的系統(tǒng)較多,遷移的數(shù)據(jù)量也較大,所以重點關(guān)注整套遷移方案的安全性和改造成本。而對于中小型金融機構(gòu)而言,其首先需要數(shù)據(jù)庫具備分布式能力,且非常關(guān)心服務和培訓,以確保有足夠的服務人員可以保障后續(xù)的日常服務。

有分析人士指出,2024年將進入分布式數(shù)據(jù)庫大規(guī)模部署階段,分布式數(shù)據(jù)庫廠商需要持續(xù)打磨核心功能、擴大生態(tài)建設、做好人才培養(yǎng)、做好金融行業(yè)差異化需求適配等。

北京商報記者 劉四紅

右側(cè)廣告

本網(wǎng)站所有內(nèi)容屬北京商報社有限公司,未經(jīng)許可不得轉(zhuǎn)載。 商報總機:010-64101978 媒體合作:010-64101871

商報地址:北京市朝陽區(qū)和平里西街21號 郵編:100013 法律顧問:北京市中同律師事務所(010-82011988)

網(wǎng)上有害信息舉報  違法和不良信息舉報電話:010-84276691 舉報郵箱:bjsb@bbtnews.com.cn

ICP備案編號:京ICP備08003726號-1  京公網(wǎng)安備11010502045556號  互聯(lián)網(wǎng)新聞信息服務許可證11120220001號