阿里雲Cloud Backup提供非結構化檔案系統類線上資料同步功能,可以將源端資料來源(包括Object Storage Service、CPFS、OSS協議相容儲存等)同步至目的端資料來源。本文介紹Cloud Backup的資料同步功能概覽,包括簡介、工作原理、操作流程和費用等。
關鍵優勢
增量同步處理
支援增量策略,同步任務可以按照預設時間自動運行,增量同步處理時僅同步變化的檔案,大幅提升同步效率。
操作簡單
雲上資料來源原生支援,配置簡單。
效能卓越
最佳化的資料轉送鏈路,相比傳統拷貝工具效能大幅提升。
工作原理
Cloud Backup支援通過公網、VPN或專線同步至阿里雲。對於通過公網同步,只需要安裝Cloud Backup用戶端的伺服器能夠訪問公網即可,不需要將該伺服器向公網暴露IP。
使用限制
OSS不支援同步歸檔類型的Object, 僅複製Object的資料(包括軟連結Symlink指向的檔案),不支援複製Object讀寫權限等中繼資料資訊。
操作流程
使用Cloud Backup控制台進行資料同步的步驟如下所示:
同步CPFS、Object Storage Service和OSS協議相容儲存前,您需要在執行同步任務的伺服器上安裝用戶端,伺服器要求和資料來源節點網路互連。用戶端用於和Cloud Backup建立通訊服務和管控服務。
在Cloud Backup控制台添加CPFS、Object Storage Service和OSS協議相容儲存資料來源。
建立資料同步計劃,Cloud Backup啟動並按照同步計劃持續同步資料。在執行同步任務時,Cloud Backup用戶端組會對指定的檔案夾進行掃描,識別需要同步的檔案,將增量資料轉送到目的端,完成同步。
資料同步服務僅提供資料轉送能力,無法保證資料的一致性和完整性。同步任務完成後,請您全量校正傳輸的資料,務必自行做好源端和目的端資料一致性校正。
請您務必在資料同步任務完成後,校正目的端傳輸資料,確保資料無誤。刪除來源資料前,未校正目的端傳輸資料無誤,導致資料丟失所引起的一切損失和後果均由您自行承擔。
增量檔案清單(ChangeList)
按照增量檔案清單同步資料,不需要進行全量掃描,能夠減少掃描檔案成本,提升同步效率。建立同步計劃,若您選擇的資料來源為Object Storage Service,則可以使用定製化增量檔案清單同步功能。
增量檔案清單是一個包含資料來源上需要同步的檔案資訊的CSV表格。每一行代表一個檔案,其中的Name欄位表示相對於資料來源同步路徑的相對路徑。例如,如下是一個名稱為
changeList1.csv的表格,Name欄位是必須列,用於記錄待同步檔案清單。其他列暫不支援。
說明Name取值不能重複,否則在資料同步時會相互覆蓋。
Name不能取值為目錄,必須指定為一個檔案。
在建立資料同步計劃時,填寫增量檔案清單所在的目錄路徑。資料同步任務啟動時,會讀取源端資料來源上該路徑下的所有CSV檔案,並進行解析,將需要同步的檔案傳輸到目的端。
說明例如,建立OSS到OSS同步計劃,可用增量檔案清單指定待同步的檔案清單。增量檔案清單
changeList1.csv和changeList2.csv儲存於源端/changelist目錄下,則增量檔案清單路徑取值為/changelist。每個CSV表格內的檔案處理完成後,該CSV表格會被移動到更深一層的
/Completed目錄中,用於記錄處理完成。處理前CSV表格目錄
處理後CSV表格目錄
/changelist/changeList1.csv /changelist/changeList2.csv
/changelist/Completed/changeList1.csv /changelist/Completed/changeList2.csv
費用
資料同步功能公測中,Cloud Backup暫不收取同步費用。
使用阿里雲OSS,OSS收取檔案儲存體費用。更多資訊,請參見阿里雲OSS計費概述。
使用阿里雲CPFS,CPFS會根據儲存規格、配置容量大小和時間長度收取一定的儲存費用。更多資訊,請參見阿里雲CPFS計費概述。