Data Management是一款支撐資料全生命週期的一站式資料管理平台,本文介紹Data Management以及內建資料災備(DBS)的產品優勢。
實現全域資料資產管理
支援全域資料資產:
關係型資料庫:MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版(相容Oracle)、PolarDB分布式版、OceanBase、Oracle、達夢DamengDB等。
NoSQL:Redis、MongoDB、Memcache、Cassandra、GDB等。
OLAP:AnalyticDB for MySQL、AnalyticDB for PostgreSQL。
檔案及日誌:OSS、SLS。
更多資訊,請參見支援的資料庫類型與功能。
支援多種來源的資料庫:提供免費、穩定、高效的資料庫網關DG用於打通網路接入,通過資料庫網關您可以安全且低成本地將其他雲廠商資料庫或本機資料庫接入DMS。更多資訊,請參見什麼是資料庫網關。
提供資料庫平滑遷移工具:DMS提供了DTS資料移轉工具,覆蓋資料庫遷移的全生命週期。更多資訊,請參見DTS。
資料庫管理:可進行資料庫執行個體資訊的查看、錄入、編輯,對執行個體、庫、表、資料列、行級進行授權、回收許可權、禁用、啟用、刪除等管理操作。中繼資料存取控制功能可支援執行個體、資料庫僅被有許可權使用者使用。更多資訊,請參見DMS支援的資料庫。
資料分類管理:對執行個體、庫、表進行業務分類歸屬管理,便於管理員、開發人員及營運人員更好地管理或使用資料。更多資訊,請參見資產類目。
快速尋找資料:支援執行個體、資料庫、表、功能、工單的全域搜尋,基於圖譜能力,可快速檢索可用資料。
可靠的資料安全治理
安全可信:內建阿里巴巴最新研發規範,規避無主鍵等不合理設計帶來潛在風險。目前支援200多種設計及審核規範,可按需調整。
全方位細粒度安全管理:支援執行個體、庫、表、資料列、資料行級許可權管理,可按需分配查詢、匯出、變更、登入等不同操作許可權。更多資訊,請參見存取控制許可權概述。
域帳號自動管理:提供域帳號及許可權的全自動化管理能力,有效避免企業員工流轉時,帳號清理不及時導致的潛在資料泄露風險。
合規審計:支援企業上市合規審計、常規內審等功能,全方位支援員工許可權和資料庫變更、訪問的流水審計。更多資訊,請參見Action Trail。
多法律法規覆蓋:全面覆蓋中華人民共和國網路安全法、歐盟通用資料保護條例GDPR、SOX法案、PCI DSS、HIPAA等法律法規,實現敏感性資料的自動分類分級,有效識別異常訪問風險。更多資訊,請參見Sensitive Data Discovery and Protection概覽。
有效保障資料庫穩定性
穩定可控:通過無鎖變更、變更前備份及變更異常自動復原等策略保障變更過程中,資料庫穩定可控。更多資訊,請參見無鎖結構變更概覽、資料追蹤。
資料品質監測:覆蓋資料生產、整合、加工到消費的資料品質規則,進行資料品質監測與校正。更多資訊,請參見監測資料品質。
SQL審核最佳化:結合安全規則的SQL審核最佳化建議,對上傳的SQL語句進行審核並提供最佳化建議,避免無索引或不規範的SQL語句,降低SQL注入風險。更多資訊,請參見SQL審核。
整體效能的診斷報告:整合資料庫自治服務DAS的部分功能,掌握資料庫執行個體的效能狀況,有效保障資料庫服務的穩定、安全及高效。更多資訊,請參見資料庫效能。
變更異常復原:快速找到異常時間段內的相關變更,產生逆向的復原語句,修複資料。更多資訊,請參見資料追蹤。
高效研發資料庫
低代碼資料加工
批量資料加工,更多資訊,請參見離線整合概述。
多情境支援:支援離線數倉搭建、數倉提速、離線資料分析、資料中台搭建、大規模Data Integration、離線計算、異構Data Integration等。
低門檻:近乎零代碼,簡單配置連線後即可滿足各項離線Data Integration任務,同時任務支援複雜調度。
基於資產的虛擬湖:配合資料資產,可建立企業的資料資產虛擬湖,隨取隨用,降低企業建湖、營運成本。
流式資料加工,更多資訊,請參見流式ETL。
多情境支援:支援即時數倉、多表即時拼接查詢、即時資料處理與上傳、即時報表、業務與計算分離、即時業務問題定位等。
高效低延時:通過DTS擷取和寫入資料,支援分布式並發讀寫,效率高於Flink,資料準確性更高。
可視化資料開發,更多資訊,請參見概述。
混合編排模式:任務流支援多種引擎混合編排,支撐複雜商務程序。
複雜任務管理與調度:結合DMS帳號與資料許可權管理機制,能夠進行複雜任務的管理與調度,提升開發過程的安全性。
營運機制完善:通過任務作業記錄、資料血緣及監控機制,提供完善營運能力。
即時資料傳輸
多種資料轉送方式:基於DTS的即時資料傳輸,提供資料移轉、資料同步、資料訂閱功能,滿足不同的傳輸需求。
高效能:支援分布式整合架構,突破單機瓶頸。同時提供限流手段,按需限流保護資料來源。
營運簡單:通過效能監控、端到端一鍵診斷功能及警示監控等策略,實現極低營運門檻。
靈活調度:按需配置調度,調度周期低至5分鐘。
資料災備(DBS)
低成本
資料災備(DBS)使用飛天分布式儲存作為內建儲存,備份資料會轉換成專用格式,並經過壓縮儲存到內建儲存,降低儲存成本。
支援隨用隨付,避免一次性投入大量資產。
同時資料災備(DBS)支援儲存分級,自動將備份資料存放到不同性價比儲存介質中,適用於長期歸檔,降低成本。
高效能
即時備份:日誌記憶體即時捕獲,復原點目標RPO(Recovery Point Object)達到秒級。
資料災備(DBS)通過使用阿里即時資料流技術,讀取資料庫日誌並進行即時解析,然後備份至雲端儲存,實現對資料庫的增量備份。通常,資料災備(DBS)可以將增量備份的延遲控制在秒層級以內,根據實際網路環境不同,延遲時間長度也會有所不同。
並行備份:全程無鎖備份、多線程並行備份、資料拉取自適應分區。
任意時間點恢複:提供可恢複日曆及時間軸選擇。
在進行資料恢複時,通過全量備份與增量備份實現精確到秒級的資料庫恢複,最大限度保障資料安全,更多資訊,請參見庫表級恢複。
多規格:彈性擴充,無縫支撐企業不同階段效能要求,更多資訊,請參見規格選型。
安全可靠
靈活易用
細粒度備份:整個執行個體、多庫、單庫、多表和單表,由您自由選擇備份粒度。
單表恢複:細粒度恢複,恢複對象精準匹配,降低恢復目標RTO(Recovery Time Object)。
生命週期管理:自訂規則控製備份資料的生命週期,實現自動轉存、清理和複製分發。
對比自建備份系統
對比項
資料災備(DBS)
自建備份系統
成本
按需付費,100%資源使用率,無需一次性投入大量資產。
冷熱資料分級儲存,適用於長期歸檔。
壓縮、緊湊備份格式,降低儲存成本。
無需營運人員與託管費用,零成本營運。
一次性投入大量資產。
儲存受硬碟容量限制,需人工擴容。
單線或雙線接入速度慢,有頻寬節流設定,峰值時期需人工擴容。
多級儲存介質引入,營運成本驟增。
安全
使用SSL和AES256加密技術,保護備份資料轉送和儲存安全。
多使用者資源隔離機制,支援異地災備機制。
提供多種鑒權和授權機制及白名單、防盜鏈、主子帳號功能。
備份有效性隨時驗證,任務狀況主動通知。
提供使用者自訂的鑒權機制。
需要另外購買清洗和黑洞裝置。
需要單獨實現安全機制。
易用性
僅需5分鐘,實現購買、配置到啟動備份任務。
細粒度備份,支援備份整個執行個體、單庫、多表和單表。
完整生命週期管理,全域規則控制,自動轉存、清理和複製分發。
備份恢複統一Web管理介面。
備份指令碼和工具,學習成本高。
靈活性不足,一般只能提供基礎能力。
效能
秒級RPO,日誌記憶體即時捕獲,任意時間點恢複。
恢複對象精準匹配,單表恢複,RTO大幅降低。
流式備份,資料不落盤,備份視窗全程無鎖,自適應並發調速。
多線BGP電訊廠商骨幹網路,無頻寬節流設定,支援海量使用者並發備份恢複。
受限於多個工具短板,容易產生瓶頸點。
可靠性
基於阿里飛天Apsara Distributed File System提供分布式高可靠儲存。
資料多重冗餘儲存,資料設計持久性不低於99.999999999%。
備份過程中,即時校正資料完整性。
海量使用者驗證,風險快速發現並修複。
多個工具拼湊,問題指數級增長。
受限於硬體可靠性,易出問題,一旦出現磁碟壞道,容易出現無法復原轉的資料丟失。
擴充性
除了支援備份阿里雲資料庫,資料災備(DBS)還支援備份ECS自建資料庫、本地機房資料庫、AWS或騰訊雲等其他雲廠商資料庫。
除了支援恢複到未經處理資料庫,資料災備(DBS)還支援恢複到其他環境,如本機資料庫通過資料災備(DBS)備份,恢複到阿里雲資料庫上。
僅支援特定環境,一般不具備擴充性。