數據備份面臨存儲成本高的問題,ADM采用內置高效的壓縮存儲池存放數據,壓縮比約為3:1,存儲即壓縮,降低了備份數據的存儲成本;其次,通過ADM的數據庫虛擬化技術,一份基礎數據即可快速拉起多份虛擬數據庫,由于虛擬數據庫90%的數據均與原始數據相同,因此拉起時幾乎不占用額外的物理存儲空間,只對新增的寫操作計入容量占用,因此,隨著數據分發使用的場景和頻率增加,虛擬庫的數量越來越多,而存儲成本將會呈倍數級節約,例如針對同一份數據創建N個虛擬庫,傳統方法需要N倍的存儲空間占用,而通過ADM只需要占用近乎0TB的存儲空間,節約了數據存儲環節的資源和成本。上訊敏捷數據管理平臺ADM產品的合規性體現在通過數據申請審批流程使用數據,嚴格控制數據外流。磁盤快照技術
上訊敏捷數據管理平臺(ADM)支持重復數據刪除技術,在典型的重復數據刪除技術中,根據不同的數據備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據輸入側不同粒度(卷級、文件級、塊級)的數據采取不同的數據切分策略,并依據任務級與全局指紋庫提供自適應源端的全局重刪算法與策略,當前支持源端塊級、文件級重刪和并行重刪技術。源端重刪是采用基于內容的可變長數據切分算法,通過對數據塊進行哈希算法的標記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數據塊,ADM則不再保存此數據塊,而是引用已存在的數據塊,從而節省更多的備份空間。該算法還可以智能識別已修改的數據和未修改的數據,從而避免因修改數據位移而導致的未修改數據切分到新數據塊中的問題,較大限度地提升重刪性能和重刪率,為避免數據備份過程中冗余網絡傳輸與存儲開銷,在源端設置粗粒度前置數據校驗可以明顯縮小備份傳輸過程中的數據冗余,目的在于不備份任意一個冗余數據。敏感類型自定義數據安全領域的CDM是指拷貝數據管理。
ADM支持Oracle/MySQL/DB2/SQLServer/PostgreSQL/Informix/達夢/南大通用GBase/人大金倉KingBase/OpenGauss/MogDB/VastBase/叢云/TDSQL/OceanBase/GaussDB(forOpenGauss)/GaussDB(DWS)分布式容災功能;支持華為云與阿里云的云服務器ECS、云數據庫RDS備份恢復;***保護VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack等虛擬化平臺,支持虛擬化備份和細粒度的掛載恢復,VMware備份無需在虛擬化平臺或者各個虛擬機上安裝客戶端,只需通過VMware代理客戶端連接虛擬化平臺即可;支持Hadoop等大數據平臺的備份恢復;支持自適應源端的全局重刪算法與策略,支持任務級與全局指紋庫;針對文件備份提供文件粒度與塊級粒度的全域重刪且支持重刪指紋庫重建功能,支持多線程文件備份,支持海量小文件場景下的聚合策略,提供并行掃描和高速索引,從而減少需要備份的數據量、縮短備份窗口、節省備份數據傳輸所消耗的網絡帶寬以及節約備份數據存儲空間;備份傳輸過程采用壓縮加密處理,緩解網絡傳輸的壓力,增加網絡抖動或短時間斷鏈的超時容錯機制,確保備份數據的安全;
企業開發需求更新頻繁,對測試環境和測試數據提出了同步變更的要求,ADM的虛擬數據庫快照功能解決了測試數據版本迭代的問題,通過對數據庫狀態進行定時或即時的記錄,保留當前虛擬數據庫的狀態作為測試數據版本,一旦需要調用某個版本時,只需切換到不同時間點的虛擬庫快照即可,靈活實現測試數據版本的任意切換,ADM還支持創建和維護虛擬庫級聯快照,滿足回歸測試等具體應用場景,通過這一功能明顯提升了開發測試效率、升級迭代效率。數據備份產品關注數據備份,上訊敏捷數據管理平臺ADM產品能用于數據的備份與快速恢復驗證。
ADM平臺具備根據管理人員、測試需求等內容的不同進行分組劃分的功能,將處理過的數據進行分組管理,從下游測試數據管理的源頭管控數據資源的類別,做到從源頭劃分類別,使下游測試數據管理形成上游數據源-中游數據中轉-下游數據目標的閉環式數據使用流程,規范化的數據流程使數據管理者成為數據的負責人,自動化的資源管理也更有效地為金融行業用戶提供安全的數據管理方案。同時,ADM提供對數據流轉的樹狀拓撲結構圖,可詳細了解數據的來源、所屬存儲池、掛載的測試服務器,以及數據快照的層級關系,方便對系統全局的數據使用結構進行預覽,通過可視化的結構拓撲圖,幫助用戶了解下游測試網中測試數據的歸屬關系,完善數據流轉路徑,優化數據資源的合理分配,可視化功能的動態展示將助力企業向著智能化數據安全治理的方向轉型。上訊敏捷數據管理平臺ADM產品能對接NBU自動恢復。金融客戶CDM案例
上訊ADM產品通過虛擬數據秒級分發功能實現測試數據的同時在線交付,縮短了數據交付的時間。磁盤快照技術
敏捷數據管理平臺(ADM)由管理控制中心(Master)、數據服務節點(CDMServer)、***服務節點(SDMServer)、客戶端(Client)組成,服務節點可通過主備節點部署實現高可用,通過靈活的橫向節點擴展實現功能擴展和容量擴充,每個服務節點可以安裝在物理服務器或虛擬服務器中。一個或多個客戶端連接到服務節點,組成一個完整的數據管理平臺,客戶端負責收集數據、傳輸數據,服務節點負責接收數據、存儲數據、數據脫敏以及管理數據。敏捷數據管理平臺(ADM)由4個模塊組成:數據服務節點(CDMServer)包括數據備份模塊(PDM)、數據校驗模塊(BDM)、數據交付模塊(TDM)3個模塊;***服務節點(SDMServer)包括數據脫敏模塊(SDM)1個模塊。磁盤快照技術