內存數據庫發展演進
隨著云計算、物聯網、大數據、人工智能的發展,以大內存、多核/眾核處理器計算為特征的新一代內存計算平臺成為大數據實時分析處理的新平臺。作為內存計算最具代表性的應用領域,內存數據庫不僅是當前數據庫領域的前沿技術復雜查詢 內存數據庫,也正日益成為新型數據庫市場增長的重要亮點。
內存數據庫的發展主要經歷了雛形期、理論成熟期、市場成長期及高速發展期四個階段:
圖1內存數據庫發展歷程
雛形期(1970年代)
內存數據庫的雛形產生于20世紀60年代末到80年代初。1969年IBM公司在研制世界上最早的基于層次模型的數據庫管理系統IMS時,提供了支持通用磁盤存儲的IMS和采用內存存儲的Fast Path兩種方法。其中,Fast Path提出了數據分層存儲的設計理念,將最活躍的數據放在內存中。內存數據庫起步于層次數據庫,后期發展逐漸轉向關系型內存數據庫。
理論成熟期(1980年代)
1984年,D J 等人發表了《 Main 》一文。第一次提出了Main (主存/內存數據庫)的概念,以及AVL樹、Hash算法、主存數據庫恢復機制等內存數據庫關鍵理論,為內存數據庫構建了技術框架并指明了發展方向。
1985-1990年間,各大高校和科研機構涌現出了眾多內存數據庫產品。IBM推出了IBM 370上運行的OBE內存數據庫;威斯康星大學提出了按區雙向鎖定模式解決內存數據庫中的并發控制問題,并設計出MM-DBMS內存數據庫;貝爾實驗室推出了DALI內存數據庫模型; 大學設計出MARS內存數據庫模型;普林斯頓大學設計出TPK和 M內存數據庫。
市場成長期(1990年代)
20世紀90年代,隨著互聯網的發展,越來越多的網絡應用系統需要能夠支持大用戶量并發訪問、高響應速度的數據庫系統,而內存技術不斷發展,性價比大幅提升,使得內存數據庫技術可行性和市場應用逐步成熟。世界各地開始涌現更多商業化的內存數據庫產品,并在各行業落地應用。1994年美國OSE公司推出了第一個商業化的內存數據庫產品;隨后德國推出了 ;日本UBIT會社開發出XDB;韓國公司相繼推出;奧地利的公司推出了SQL-IMDB;美國推出;加拿大公司推出。
高速發展期(2010年至今)
2010年之后,云計算、大數據、物聯網、移動互聯網、人工智能進入高速發展期,大量應用需要對海量數據進行實時分析和處理,對系統的高并發、低時延能力提出了極高的要求,也帶動內存數據庫新一輪高速發展。
這段時期以Redis鍵值型內存數據庫為代表,開源內存數據庫開始興起,正成為解決新市場需求和應用場景的主力軍。如支持關系型存儲的;支持鍵值對存儲NoSQL數據庫;以及數據結構既能支持鍵值對又能支持關系型的 。除了開源數據庫之外,幾大信息技術企業還推出了特色產品占領市場,推出數據庫一體機 X3,集成內存數據庫;IBM收購Solid公司的內存數據庫,整合為IBM家族的一個產品;SAP也發布了商業版內存數據庫SAP HANA,是支持列式存儲的關系型內存數據庫,已經成為內存數據庫的典型產品之一。國產自主研發的內存數據庫往往追求大而全,而技術創新不足、沒有特點,產品的穩定性一直上不去,也不敢做有挑戰性的性能測試。所以,穩定性、性能都無法讓市場信服。結果就是:稍微重要一點的系統根本沒人敢用。
中科天璣新型內存數據庫產品
中科天璣新型內存數據庫定位為國產關系型內存數據庫產品,具有強實時、高可靠、高安全、高擴展、易使用、跨平臺的特點復雜查詢 內存數據庫,不僅兼容支持國產主流操作系統和硬件平臺,也可與傳統關系數據庫和新興大數據平臺進行深度整合和優勢互補,為客戶提供業界領先的海量實時數據管理解決方案,可廣泛應用于國防、政府、金融、電信、工業控制、大數據、邊緣計算、物聯網等行業領域。
圖2產品定位
中科天璣新型內存數據庫產品采用層次式、模塊化體系結構,分為適配層、基礎層、核心層、擴展層、接口層和應用層,如下圖所示:
圖3 產品體系結構
說明如下:
1) 適配層:提供兼容適配商用和國產主流硬件平臺和操作系統的接口文件,支持龍芯+中標麒麟、飛騰+銀河麒麟、X86+Linux等平臺組合。
2) 基礎層:提供優化的內存管理基礎功能,包括數據庫內存池、頁管理、堆管理等模塊。
3) 核心層:提供完善的數據庫內核功能,包括數據組織管理、索引管理、事務管理、運行時控制、安全管理等模塊。
4) 擴展層:基于數據庫內核,擴展出SQL組件、高可用HA組件、事務日志組件、Web服務組件、集群組件、列數據庫等增強組件。
5) 接口層:提供C/C++、SQL、JNI、、C#等編程接口。
6) 應用層:支持嵌入式應用軟件、桌面端應用軟件、服務器端應用軟件、移動端APP軟件開發。
產品特點
實時性
可靠性
安全性
擴展性
易用性
兼容性
應用領域
中科天璣新型內存數據庫產品可廣泛應用于以下關鍵行業領域:
國防:艦艇、導彈、戰機、火箭、衛星、坦克/裝甲車、雷達、數據鏈等國防系統或裝備,對大批量傳感器數據進行實時管理
政府:科技情報、財政管理、電子采購與招標、電子稅務、社會網格治理等
金融:券商交易系統、實時風控系統、期貨交易系統、訂單管理系統、福利彩票系統等
電信&網絡:網絡交換機、衛星網絡測控、實時計費系統、運營支撐系統/業務支撐系統(OSS/BSS)等
工業控制:SCADA系統、電力控制系統、汽車電子系統、高鐵控制系統等
數據:軍事大數據、情報大數據、公安大數據、工業大數據等
邊緣計算:國防、電信&網絡、工業系統等領域的邊緣計算場景
互聯網:社交網絡、交易平臺、電商平臺等
結語
中科天璣新型內存數據庫產品在實時性、可靠性、國產化方面具有獨特優勢,能夠提供業界領先的極致性能和連續穩定可靠運行保證,滿足國防、金融、電信、工控等關鍵行業領域的嚴苛要求。同時,中科天璣可以為用戶提供業界領先的海量實時數據管理解決方案和長期可持續服務,使用戶專注于系統設計和應用軟件開發,降低系統復雜性和軟件開發成本,為客戶創造最佳實踐和更大價值。
中科天璣將堅持掌握核心技術和長期服務用戶的理念,努力打造具有行業影響力的國產內存數據庫基礎軟件產品,目前已成功應用于國防、金融、輿情、安全等行業中。
曹東坡,中科天璣新型內存數據庫產品總監,長期從事基礎軟件研發工作,具有IT、航天、船舶等行業背景,擁有豐富的理論和實踐經驗,先后承擔核高基課題和多個型號系統研制工作,并組織研發內存數據庫、圖數據庫等數據庫產品,在國防裝備和行業項目中得到廣泛應用。