本文為您介紹如何將MySQL或PostgreSQL資料庫的資料歸檔至RDS MySQL。
資料歸檔功能目前處於公測中。
支援歸檔至RDS MySQL的資料庫
-
MySQL類型:RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0、PolarDB-X 2.0。
說明MySQL資料庫帳號必須具有REPLICATION CLIENT許可權。
-
PostgreSQL類型:RDS PostgreSQL、PolarDB PostgreSQL版。
注意事項
-
需要歸檔的源表必須存在主鍵或者唯一鍵。
說明建議源表中包含業務修改的時間欄位,以便將該時間作為歸檔的過濾條件。
-
若在資料歸檔過程中選擇了自動清理源庫表資料,請注意源庫資料表空間的預留情況,避免由於空間不足導致歸檔過程中出現異常。
源庫和目標庫的管控模式均為安全協同或穩定變更,才可執行循環歸檔任務。若您僅需要單次執行歸檔任務,則不限制資料庫的管控模式。
-
目前僅新加坡、印尼(雅加達)地區可使用資料歸檔功能。
費用說明
DMS資料歸檔功能不收費。DMS的計費項目資訊,請參見計費項目(DMS)。
樣本表資料
本文樣本待歸檔的表為orders_test01,該表中包含業務修改的時間欄位gmt_modified。
資料歸檔
單擊控制台左上方的
表徵圖,選擇。說明若您使用的是非極簡模式的控制台,在頂部功能表列中,選擇。
-
在頁面右上方,單擊資料歸檔。
-
在建立資料歸檔工單頁面配置工單資訊,配置完成後,單擊提交申請。
本文以RDS MySQL執行個體間的資料歸檔舉例,將源表orders_test01中6個月前的資料歸檔到目標執行個體的資料庫中。
配置項
是否必填
說明
任務名
是
請輸入明確、清晰的任務名,以減少溝通成本。
歸檔目標
是
選中RDS MySQL。
RDS執行個體
是
搜尋並選擇目標RDS MySQL執行個體。
來源資料庫
是
搜尋並選擇來源資料庫。
歸檔配置
是
選擇需要歸檔的源表,您可單擊添加,添加多個源表。如果您僅需要歸檔部分指定資料,請配置過濾條件。
例如,歸檔6個月前的資料,需要先配置一個時間變數
6_month_ago,再配置過濾條件gmt_modified <= '${6_month_ago}'。組態變數時,時間格式選擇
yyyy-MM-dd,時間運算依次選擇 -、填寫 6、選擇 月。歸檔表映射
否
映射在目標庫中的表,預設與源庫中的表名一致。
您可以編輯源表歸檔到目標庫後的表名、列資訊、分庫鍵和分區鍵。
變數配置
否
配置該變數可以在配置歸檔過濾條件時使用。例如,時間變數為
6_month_ago,時間格式為yyyy-MM-dd,位移量設定為-6月。如果當前日期為2021-8-12,則變數${6_month_ago}的值為2021-02-11。配置時間變數的更多資訊,請參見配置時間變數。後置行為
否
若您選中清理原表已歸檔資料(delete-無鎖),則在歸檔完成後,系統將自動執行歸檔後的源表資料刪除操作,可以通過無鎖資料變更的
DELETE陳述式完成。但刪除源表的同時,源庫中會產生儲存此次歸檔資料的備份暫存資料表,請保證源庫空間充足,避免空間容量不足引發執行個體不可用問題。清理備份暫存資料表:您可以在確認資料歸檔完成且資料無誤後,通過建立普通資料變更工單,清理源庫中的備份暫存資料表。
若您未選中清理原表已歸檔資料(delete-無鎖),則需要在資料歸檔成功後,手動進行源表資料刪除和空間最佳化。
清理源表資料:通過建立普通資料變更工單清理資料庫中已歸檔的資料。建立普通資料變更工單,請參見普通資料變更。
源資料表空間最佳化:通過建立無鎖變更工單完成源資料表空間最佳化。建立無鎖變更工單,請參見通過無鎖變更工單實現無鎖結構變更。
運行方式
是
選擇運行方式,當前支援:
-
單次執行:工單審核通過後,僅單次運行歸檔任務。
-
周期調度:工單審核通過後,可根據部署的周期調度執行歸檔任務。具體配置,請參見周期調度。
-
審批工單。
工單審批通過後,系統將自動執行資料歸檔任務,等待歸檔任務執行完成。若任務執行失敗,您可在工單的執列區域,單擊操作列下的詳情,以查看歸檔任務日誌。若是由於網路或資料庫連接失敗等偶然發生的問題,您也可以單擊斷點重試,嘗試重新執行。
說明歸檔後的資料以表形式儲存在資料庫中。
-
可選:歸檔後查詢資料。
歸檔後查詢資料
資料歸檔任務執行成功後,您可在當前工單詳情頁的基本資料地區,單擊目標庫右側的查看。
進入SQL Console頁面後,在左側表列表地區,選擇並雙擊目標表名,再單擊執行,查看已歸檔的資料。
說明系統會自動根據來源資料庫的庫表名稱在歸檔執行個體上產生庫和表,所以此處的目標資料庫名稱與源庫名稱相同。
歸檔後的表會新增四列資料,不影響表未經處理資料的使用:
歸檔資訊(工單號和歸檔時間)
資料庫名稱
表名稱
執行個體ID(DMS錄入執行個體時賦予的ID,與執行個體真實ID對應)
常見問題
Q:在工單配置時未指定目標資料庫,來源資料庫的資料會歸檔到目標執行個體的哪個資料庫中?
A:在歸檔過程中,DMS會自動在目標執行個體中建立一個與源庫名稱相同的資料庫,並將源表資料歸檔至目標資料庫中。