1月6日,由中國電子技術標準化研究院指導、 CSDN主辦的2021DC分布式數據庫開發者大會,舉行了“2021年度海納獎”頒獎典禮。
滴普科技數據平臺技術專家吳小前獲“2021年度海納獎——分布式數據庫十大先鋒人物”獎。榜單由CSDN聯合極客邦、思否、開源中國、木蘭開源社區共同評選,從技術創新、行業實踐、學術研究、生態拓展等維度對參評人進行考評。
國產化替代趨勢突出,分布式數據庫將成為核心
近年來,隨著數據量爆發性增長,導致數據負載隨之擴大,對數據庫擴容的需求愈加迫切。但面對大規模數據處理,集中式數據庫的局限性問題日益凸顯。
吳小前認為,國內的數據庫發展起步較晚,自2010年開始經歷了傳統數據庫、云數據庫、分布式數據庫三個階段。尤其是伴隨云計算的發展,企業面臨更多的是半結構化、非結構化數據,因而NoSQL、NewSQL、HTAP、多模等分布式架構的數據庫開發規模逐漸擴大。
在他看來,分布式數據庫以高可用、可擴展、多地域、多部署形態、混合負載以及透明兼容性等諸多特性,正成為企業核心系統升級的首選。可以預見的是,隨著業務對大數據技術需求的不斷演變,分布式數據庫的地位愈加重要,必將成為未來大數據技術發展的核心。
采用云原生架構,滴普科技構建技術開源生態
作為大數據發展的核心技術,分布式數據庫主要解決分布式事務處理與查詢優化智能數據分布技術、智能運維調優技術等。基于此,吳小前和滴普科技研發團隊,首次引入領先的MDS架構,規劃并設計了國內首個低成本、高性能、易使用的云原生數據智能平臺FastData,服務于企業建立流批一體和湖倉一體的新一代數據存儲計算平臺和數據科學分析平臺。
面對大規模的數據存儲,FastData采用存算分離架構,彈性擴展、高并發、低延時,支持結構化、半結構化、非結構化數據存儲,實現EB級的大規模存儲部署;并內置包括S3/OSS/HDFS/OBS的多模態的存儲引擎與分級存儲,深度整合各類云數據存儲。
同時,滴普科技還引入Apache iceberg表存儲引擎,支持公有云和私有云部署、支持多級分區、動態擴容、彈性調度,以及并發控制的ACID事務,確保了多方并發讀寫數據的一致性。
在實際部署中,FastData則采用獨立的存儲和計算集群,能獨立擴展支持更大的用戶并發和數據量,使得資源按需使用,進一步降低成本。
目前,FastData 已經賦能于先進制造、生物醫藥、能源出行、政務雙碳、金融科技、消費流通等領域,取得了一定的實踐成果。
以國內某鞋服零售集團為例,之前該集團的數據分布在CDH/DB2/MySQL/Oracle等OLAP數據庫中,滴普科技為其完成核心大數據組件升級,從原來的 Hive、Spark、離線計算等技術,升級為 FastData-DLink、FastData-DCT、FastData-DataFacts,將原有7個數倉平臺整合形成湖倉一體實時架構。統一數倉之后,實現實時數據分析,節約了大量傳統數倉的技術運維成本。
為了將創新技術賦能于更多業務場景,滴普科技致力于打造DEEPNOVA開發者社區,希望可以憑借其開放、共享等特性,在更短的時間內快速完成產品迭代、生態構建、品牌滲透,提高數據技術產品的創新效率。
未來,隨著企業數字化進程的加速,不同的業務場景需要不同的數據模型、負載類型,滴普科技將繼續堅持云中立理念,采用分布式架構,并支持越來越多的新數據管理和數據處理服務場景,滿足當前以及未來數字產業發展的需求,引領數據智能技術的革新發展。
聲明:本網轉發此文章,旨在為讀者提供更多信息資訊,所涉內容不構成投資、消費建議。文章事實如有疑問,請與有關方核實,文章觀點非本網觀點,僅供讀者參考。

