Data Transmission Service：SLS遷移至ClickHouse叢集

注意事項

費用說明

資料庫帳號的許可權要求

準備工作

在建立DTS執行個體之前，您需要先建立RAM使用者並完成相應的授權，以確保DTS能夠通過該RAM使用者的AccessKey ID和AccessKey Secret讀取Log Service中待遷移的資料。

1. 建立RAM使用者。

   1. 訪問RAM使用者列表。

   2. 在頁面左上方，單擊建立使用者。

   3. 填入登入名稱稱，並在訪問方式地區選中使用永久 AccessKey 訪問。

   4. 單擊確定。

      重要

      RAM使用者建立成功後，請儲存AccessKey ID和AccessKey Secret資訊。

2. 返回RAM使用者列表，尋找建立好的RAM使用者。

3. 在目標RAM使用者的操作列，單擊添加許可權。

4. 在權限原則下方的文字框中，搜尋並選中AliyunLogReadOnlyAccess策略。

   說明

   AliyunLogReadOnlyAccess策略擁有Log Service的唯讀許可權，授權了該策略的子帳號可以訪問Log Service。您也可以按需進行自訂策略，更多資訊請參見建立自訂權限原則。

5. 單擊確認新增授權，完成授權操作。

操作步驟

1. 進入目標地區的遷移工作清單頁面（二選一）。

   通過DTS控制台進入

   1. 登入Data Transmission Service控制台。

   2. 在左側導覽列，單擊資料移轉。

   3. 在頁面左上方，選擇遷移執行個體所屬地區。

   通過DMS控制台進入

   說明

   實際操作可能會因DMS的模式和布局不同，而有所差異。更多資訊。請參見極簡模式控制台和自訂DMS介面布局與樣式。

   1. 登入Data Management服務。

   2. 在頂部功能表列中，選擇Data + AI > 資料轉送（DTS） > 資料移轉。

   3. 在遷移任務右側，選擇遷移執行個體所屬地區。

2. 單擊創建任務，進入任務配置頁面。

3. 可選：在頁面右上方，單擊試用新版配置頁。

   說明

   • 若您已進入新版配置頁（頁面右上方的按鈕為返回舊版配置頁），則無需執行此操作。

   • 新版配置頁和舊版配置頁部分參數有差異，建議使用新版配置頁。

4. 配置源庫及目標庫資訊。

   類別	配置	說明
   無	任務名稱	DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
   源庫資訊	選擇已有串連資訊	若您需要使用已錄入系統（建立或儲存）的資料庫執行個體，請在下拉式清單中選擇所需的資料庫執行個體，下方的資料庫資訊將自動進行配置。 說明 DMS控制台的配置項為選擇DMS資料庫執行個體。 若您未將資料庫執行個體錄入到系統，或無需使用已錄入系統的資料庫執行個體，則需要手動設定下方的資料庫資訊。
   	資料庫類型	選擇SLS。
   	接入方式	選擇雲執行個體。
   	執行個體地區	選擇源Log Service中待遷移資料所屬專案（Project）的地區。
   	Project	選擇源Log Service中待遷移資料所屬的Project。
   	Logstore	選擇源Log Service中待遷移資料所屬的Logstore。
   	AccessKey ID	填入在準備工作中所建立的RAM使用者的AccessKey ID和AccessKey Secret。
   	AccessKey Secret
   目標庫資訊	選擇已有串連資訊	若您需要使用已錄入系統（建立或儲存）的資料庫執行個體，請在下拉式清單中選擇所需的資料庫執行個體，下方的資料庫資訊將自動進行配置。 說明 DMS控制台的配置項為選擇DMS資料庫執行個體。 若您未將資料庫執行個體錄入到系統，或無需使用已錄入系統的資料庫執行個體，則需要手動設定下方的資料庫資訊。
   	資料庫類型	選擇ClickHouse。
   	接入方式	選擇雲執行個體。
   	執行個體地區	選擇目標ClickHouse叢集所屬地區。
   	是否跨阿里雲帳號	本樣本使用當前阿里雲帳號下的資料庫執行個體，需選擇不跨帳號。
   	叢集類型	請根據實際情況選擇ClickHouse叢集的類型。
   	叢集ID	選擇目標ClickHouse叢集的ID。
   	資料庫帳號	填入目標ClickHouse叢集的資料庫帳號。許可權要求，請參見資料庫帳號的許可權要求。
   	資料庫密碼	填入該資料庫帳號對應的密碼。

5. 配置完成後，在頁面下方單擊測試連接以進行下一步。

   說明

   請確保DTS服務的IP位址區段能夠被自動或手動添加至源庫和目標庫的安全設定中，以允許DTS伺服器的訪問。更多資訊，請參見添加DTS伺服器IP地址白名單。

6. 配置任務對象。

   1. 在對象配置頁面，配置待遷移的對象。

      配置	說明
      遷移類型	僅支援全量遷移 + 增量遷移。
      目標已存在表的處理模式	預檢查並報錯攔截：檢查目標資料庫中是否有同名的表。如果目標資料庫中沒有同名的表，則通過該檢查專案；如果目標資料庫中有同名的表，則在預檢查階段提示錯誤，資料移轉任務不會被啟動。 說明 如果目標庫中同名的表不方便刪除或重新命名，您可以更改該表在目標庫中的名稱，請參見庫表列名映射。 忽略報錯並繼續執行：跳過目標資料庫中是否有同名表的檢查項。 警告 選擇為忽略報錯並繼續執行，可能導致資料不一致，給業務帶來風險，例如： 表結構一致的情況下，在目標庫遇到與源庫主鍵的值相同的記錄： 全量期間，DTS會保留目的地組群中的該條記錄，即源庫中的該條記錄不會遷移至目標資料庫中。 增量期間，DTS不會保留目的地組群中的該條記錄，即源庫中的該條記錄會覆蓋至目標資料庫中。 表結構不一致的情況下，可能導致只能遷移部分列的資料或遷移失敗，請謹慎操作。
      目標庫對象名稱大小寫策略	您可以配置目標執行個體中遷移對象的庫名、表名和列名的英文大小寫策略。預設情況下選擇DTS預設策略，您也可以選擇與源庫、目標庫預設策略保持一致。更多資訊，請參見目標庫對象名稱大小寫策略。
      已選擇對象	指定接收資料的資料庫。 將滑鼠指標懸停在已選擇對象中待遷移的Logstore，並單擊該Logstore後出現的編輯。 在彈出的編輯Schema對話方塊中，將Schema名稱修改為目標ClickHouse叢集中接收資料的資料庫名稱。 說明 DTS預設將Logstore的名稱映射為目標ClickHouse叢集的資料庫名稱，若Logstore名稱中包含-字元，則該字元將被替換為_。 單擊確定。 指定接收資料的表。 單擊Table後的新增錶。 在彈出的添加錶對話方塊中，配置遷移對象和接收資料的表。 遷移對象的粒度支援配置為Logstore或Topic： 粒度為Logstore：在表名文字框中，填入.*。 重要 .*表示Logstore中的所有Topic，且僅支援將Logstore中所有Topic的資料寫入到同一張表中。 粒度為Topic：在表名文字框中，填入Logstore中待遷移的Topic名稱。 在目標表名文字框中，填入目標ClickHouse叢集中接收資料的表名稱。 說明 若待遷移對象的粒度為Topic，請單擊添加表，並逐一將每個Topic與ClickHouse叢集中的表進行映射。 若待遷移對象的粒度為Logstore，請勿單擊添加表。 單擊確定。 指定接收資料的列。 說明 若待遷移對象的粒度為Topic，您需要重複以下操作，逐一將每個Topic與ClickHouse叢集中的表進行映射。 將滑鼠指標懸停在已選擇對象中剛建立的表，並單擊該表後出現的編輯。 在彈出的編輯表對話方塊中，確定待遷移的索引欄位（列）。 說明 對於無需遷移的欄位，您可以單擊該欄位操作列的。 在目標列名文字框中，將其修改為目標表中用於接收相應索引欄位資料的列名。 可選：在目標類型列中，選擇對應列的資料類型。 說明 DTS對資料類型的預設映射，請參見資料類型映射。 可選：配置待遷移的無索引的欄位。 說明 您可以重複以下操作，配置需要遷移的無索引的欄位。 單擊，新增一行資料然後進行配置。 在列名稱列，填入需要遷移的無索引的欄位名稱。 在目標列名列，填入ClickHouse叢集中接收資料的列名稱。 可選：在目標類型列中，選擇對應列的資料類型。 說明 DTS對資料類型的預設映射，請參見資料類型映射。 將每個待遷移的欄位配置完成後，單擊確認。

   2. 單擊下一步高級配置，進行進階參數配置。

      配置	說明
      選擇調度該任務的專屬叢集	DTS預設將任務調度到共用叢集上，您無需選擇。若您希望任務更加穩定，可以購買專屬叢集來運行DTS遷移任務。
      源庫、目標庫無法串連後的重試時間	在遷移任務啟動後，若源庫或目標庫串連失敗則DTS會報錯，並會立即進行持續的重試串連，預設重試720分鐘，您也可以在取值範圍（10~1440分鐘）內自訂重試時間，建議設定30分鐘以上。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。 說明 針對同源或者同目標的多個DTS執行個體，網路重試時間以後建立任務的設定為準。 由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。
      源庫、目標庫出現其他問題後的重試時間	在遷移任務啟動後，若源庫或目標庫出現非串連性的其他問題（如DDL或DML執行異常），則DTS會報錯並會立即進行持續的重試操作，預設持續重試時間為10分鐘，您也可以在取值範圍（1~1440分鐘）內自訂重試時間，建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功，遷移任務將自動回復。否則，遷移任務將會失敗。 重要 源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。
      是否從選擇的位點進行增量同步處理	您可以根據實際情況，選擇是否從指定的時間點開始遷移資料。本樣本保持預設設定否。 說明 若您選擇為是，還需要在下拉框中選擇位點資訊。
      是否限制增量遷移速率	您也可以根據實際情況，選擇是否對增量遷移任務進行限速設定（設定每秒增量遷移的行數RPS和每秒增量遷移的數據量(MB)BPS），以緩解目標庫的壓力。 說明 僅當遷移類型選擇了增量遷移，才有此配置項。 您也可以在遷移執行個體運行後，調整增量遷移的速率。
      環境標籤	您可以根據實際情況，選擇用於標識執行個體的環境標籤。本樣本無需選擇。
      配置 ETL 功能	選擇是否配置ETL功能。關於ETL的更多資訊，請參見什麼是ETL。 是：配置ETL功能，並在文字框中填寫資料處理語句，詳情請參見在DTS遷移或同步任務中配置ETL。 否：不配置ETL功能。
      監控警示	根據業務需求選擇是否設定警示並接收警示通知。 不設定：不設定警示。 設定：設定警示。您還需要設定警示閾值和警示通知，當遷移失敗或延遲超過閾值後，系統將進行警示通知。

7. 儲存任務並進行預檢查。

   • 若您需要查看調用API介面配置該執行個體時的參數資訊，請將滑鼠游標移動至下一步儲存任務並預檢查按鈕上，然後單擊氣泡中的預覽OpenAPI參數。

   • 若您無需查看或已完成查看API參數，請單擊頁面下方的下一步儲存任務並預檢查。

   說明

   • 在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。

   • 如果預檢查失敗，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。

   • 如果預檢查產生警告：

     • 對於不可以忽略的檢查項，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。

     • 對於可以忽略無需修複的檢查項，您可以依次單擊點擊確認警示詳情、確認屏蔽、確定、重新進行預檢查，跳過警示檢查項重新進行預檢查。如果選擇屏蔽警示檢查項，可能會導致資料不一致等問題，給業務帶來風險。

8. 購買執行個體。

   1. 預檢查通過率顯示為100%時，單擊下一步購買。

   2. 在購買頁面，選擇資料移轉執行個體的鏈路規格，詳細說明請參見下表。

      類別	參數	說明
      資訊配置	資源群組配置	選擇執行個體所屬的資源群組，預設為default resource group。更多資訊，請參見什麼是資源管理。
      	鏈路規格	DTS為您提供了不同效能的遷移規格，遷移鏈路規格的不同會影響遷移速率，您可以根據業務情境進行選擇。更多資訊，請參見資料移轉鏈路規格說明。

   3. 配置完成後，閱讀並選中《數據傳輸（隨用隨付）服務條款》。

   4. 單擊購買並啟動，並在彈出的確認對話方塊，單擊確定。

      您可以在遷移任務列表頁面，查看遷移執行個體的具體進度。

      說明

      • 若遷移執行個體不包含增量遷移任務，則遷移執行個體會自動結束。遷移執行個體自動結束後，運行狀態為已完成。

      • 若遷移執行個體包含增量遷移任務，則遷移執行個體不會自動結束，增量遷移任務會持續進行。在增量遷移任務正常運行期間，遷移執行個體的運行狀態為運行中。

資料類型映射