阿里雲李飛飛:中國數據庫的時與勢
因天之時,就地之勢,依人之利,則所向者無敵,所擊者萬全矣。
出品丨自主可控新鮮事
本文內容來源於中國電子報,作者:李飛飛
正文共3159,建議閱讀時間10分鐘
作者簡介:李飛飛,阿里巴巴集團副總裁、阿里雲數據庫產品事業部負責人、達摩院首席數據庫科學家,IEEE Fellow、ACM傑出科學家
數據庫、操作系統和中間件並列爲三大基礎軟件,無論是在銀行存取款,還是進行健康碼查詢,我們的日常應用和企業業務背後都離不開數據庫。可以說,沒有數據庫,就難以構建數字化底座。
在國際權威機構Gartner公佈的2021年全球雲數據庫魔力象限評估結果中,作爲中國科技公司代表,阿里雲蟬聯了“領導者”(LEADERS)象限,意味着阿里雲數據庫綜合實力已穩居全球第一陣營。
這既是對阿里雲數據庫實力的肯定,同時也證明了阿里雲圍繞雲原生數據庫新賽道進行前瞻佈局和自研創新的戰略是正確的。
今年入選Gartner全球雲數據庫魔力象限的企業共有20家,中國2家,佔比10%。這與中國巨大的市場空間和產業應用前景並不相稱。在我看來,未來一定會有更多中國廠商出現在這份榜單上,並且不斷向着“領導者”象限邁進。
之所以有這樣的判斷,是因爲雲計算的出現,讓全球數據庫市場格局迎來了40年以來的最大拐點。而這一次,時與勢站在中國廠商一邊。
數據庫的40年大變局
過去的40多年,數據庫技術一直在創新與迭代,經歷了不亞於移動通信技術從1G到5G的巨大跨越。
上世紀80年代初,數據庫系統逐步走進信息技術舞臺的中央。2000年前後,大數據技術興起;再到2010年後,雲計算熱度持續升溫,雲原生、分佈式等技術不斷髮展。展望未來,數據庫技術會因爲雲計算實現技術上的極大躍遷。
隨着企業業務全面向數字化、在線化、智能化演進,企業面臨指數級遞增的海量存儲產生的需求和挑戰,包括並不限於諸如業務熱點和突發流量帶來的挑戰。企業不僅需要降本增效,還需要進行數據分析、數據洞察,從而產生可指導行動的智能決策,傳統的商業數據庫已經難以滿足和響應快速增長的業務訴求。
第一,系統面臨持續擴容的挑戰。傳統數據庫是在馮·諾依曼架構下發展而來,其核心特徵是計算、存儲等資源的緊耦合。當業務需要的資源超過底層系統所能提供的容量後,需要對現有系統進行靈活彈性的擴容。
第二,系統始終會存在宕機的風險。如果支撐核心在線業務的數據庫出了問題,將導致業務系統無法正常運行。數據庫需要高可用,確保無論底層資源發生任何問題,數據庫都可以實現不同服務器、不同虛擬機、甚至是不同可用區和地域之間的切換,保證上層業務系統對底層硬件資源的錯誤或者風險的無感知容錯。
面對這兩個核心挑戰,雲原生數據庫利用虛擬化技術將計算、存儲等資源進行池化,將存儲計算分離。打個比方,以前創建獨立的數據庫,好比每家每戶各打一口水井。如今的雲原生數據庫,則是把這些水井底部的水資源連接起來,表面上還是一口口獨立的水井,但是水井的底部已經連在一起,形成了一個隱形的池塘,能實現隨時按需用水。
在雲原生數據庫系統中,我們還可以通過AI和機器學習技術實現智能自動化的運維過程,快速調動資源,匹配業務需求,需要多少資源就擴展多少資源。就像自來水系統,用戶可對水量進行實時靈活的控制。
概而言之,從傳統數據庫到雲原生數據庫,最大的技術變革是資源池化與資源解耦,以及由此而帶來的彈性、高可用、容器化部署、智能化運維等核心能力。
雙11是全球最大的超級數字工程之一,是阿里巴巴技術的練兵場。2020年雙11零點的訂單峰值58萬筆/秒,這種瞬間爆發的場景,如果不是利用雲原生的技術,僅依賴傳統技術根本無法滿足這種高併發、彈性、高可用的要求。
2021年是數字化轉型的普及年,千行百業的業務加速上雲進程。即使是單一客戶,也擁有多樣化的複雜業務以及豐富的業務負載特性,單一產品和架構已很難滿足客戶需要。阿里雲數據庫全面擁抱雲原生,首次從客戶場景視角,提出了“一站式全鏈路數據管理與服務”的理念,希望通過觸手可及、簡單易用、安全可靠的雲數據庫,讓數據無縫的自由流動,滿足企業多樣化的業務訴求。
阿里雲所打造的雲原生數據庫2.0 —— 一站式全鏈路數據管理與服務,將雲計算領域非常重要的雲原生技術和分佈式技術合二爲一:上層是分佈式,下層以雲原生的方式實現,每個分區都可以享受雲原生帶來彈性、高可用的能力,同時上面有分佈式帶來的水平拓展的能力,解決高併發可能帶來的瓶頸問題。在這個基礎上,打造面向不同應用場景和需求的專屬數據庫和數據倉庫系統,做到專庫專用;同時,利用HTAP、在離線一體化、庫倉一體、多模數據處理等核心技術,實現數據處理與分析的融合,以及數據在不同應用場景和系統之間的自由流轉。最後,通過在線數據管理平臺實現一站式全鏈路數據管理與服務。
展望未來,雲原生與分佈式一體化、在離線一體化、HTAP混合負載查詢與處理、物聯網及多模數據融合處理與分析、安全可信與隱私保護、智能化運維與調優、機器學習和AI負載以及智能化算子與應用支持、新型硬件的適配和優化將成爲雲原生數據庫重點發力和突破的技術方向。
中國數據庫廠商的時與勢
數據庫作爲應用型技術,先發優勢和生態建設非常重要,如果沒有技術上的突破性創新,後來者想要超越,可能性很小。在雲時代的滾滾洪流之下,雲計算已成爲數據庫發展的新賽道,中國數據庫企業迎來了絕佳的變革機遇期。
據Gartner預測,到2022年,雲數據庫管理系統(DBMS)的收入將佔DBMS市場總收入的50%,比2020年預測的提前了一年。數據庫繼續向雲邁進,全球數據庫產業結構正在加速重構。
雲計算作爲一種全新的科技服務,對數據庫的研發、使用等方面帶來了徹底的變革,也讓全球廠商在數據庫賽道上站在了同一起跑線上。中國有着衆多的數字用戶和獨特的業務場景。沒有成功應對雙11流量洪峰、“健康碼”等場景的數據庫廠商,很難知道如何解決海量數據、超高併發交易洪峰等實際業務問題。放眼全球,中國廠商獨享這樣的機會。這一次,中國廠商乘“雲”而上,擁有了比肩國外數據庫的技術和創新能力。
以阿里雲自研雲原生數據庫PolarDB爲例,2017年才啓動自主研發,但到今天很多功能,如內存、計算與存儲三層解耦架構實現秒級彈性、多主多寫、基於內存池化的列存索引支持HTAP等已經是全球首創或業內領先的技術,創新步伐已經領先國外同行。
數字經濟的蓬勃發展,必然推動中國數據庫市場的快速增長。中國信息通信研究院今年6月發佈的《數據庫發展研究報告(2021年)》指出,我國數據庫產業進入重大發展機遇期,預計到2025年,中國數據庫市場總規模將達到688億元,市場年複合增長率(CAGR)爲23.4%,全球佔比達到12.3%左右。
中國的數據庫企業能夠挺進並蟬聯Gartner魔力象限的領導者地位,是幾代人不懈努力的成果。數據庫行業取得今天的成績,與國家對基礎軟件產品的扶持,政策的引導和加持是分不開的。如果說,過去中國數據庫技術打不開市場,有很多客觀原因,但是今天中國乃至海外的企業,已經開始大規模接受中國數據庫技術,並且金融、政務等核心應用開始嘗試用雲數據庫大規模替代傳統數據庫。隨着科技自立自強重大戰略的實施,這種全面替代會是一個確定性的趨勢,越來越多的企業將使用中國數據庫技術。
今天,中國提供數據庫產品的廠商已超過80家,其中一些企業已經成爲新銳的獨角獸廠商。雖然國內數據庫企業單一廠商的人員規模還不足以與全球巨頭企業抗衡,但是產業人才已經具備了一定的規模並形成了梯隊。這爲中國數據庫產業的穩步發展打下了堅實的人才基礎。
此外,通過產學研的攜手創新,在數據庫領域VLDB、SIGMOD和ICDE三大頂級會議的論文中,中國廠商的論文數量也呈現了逐年上升趨勢且部分論文提出的數據庫技術創新甚至獲得全球同行的認可,這也是中國數據庫企業乘勢而起的標誌之一。
“因天之時,就地之勢,依人之利,則所向者無敵,所擊者萬全矣。”在產業大變革時代,深刻認識和正確把握我們所面臨的時與勢,有利於中國數據庫廠商看清方向,找到快速成長的路徑。我相信,時與勢也必定轉化爲中國數據庫產業快速發展的動力,讓我們在這樣關鍵的信息技術領域擁有應有的一席之地。
END
免責聲明:本文系網絡轉載,版權歸原作者所有。但因轉載衆多,或無法確認真正原始作者,故僅標明轉載來源,如涉及作品版權問題,請與我們聯繫,我們將在第一時間協商版權問題或刪除內容!內容爲作者個人觀點,並不代表本公衆號贊同其觀點和對其真實性負責。
點擊下方標題,洞悉信創產業發展
點擊下方標題,查看系列深度報告