Data Integration支援將MySQL等源頭的資料整庫即時同步至Elasticsearch。本文以MySQL為源端、Elasticsearch為目標端情境為例，為您介紹如何將MySQL整個資料庫的資料全量+增量即時同步至Elasticsearch。
準備工作
資料來源準備
資源群組：已購買Serverless資源群組。
網路連通：已完成資源群組與資料來源間的網路連通，詳情請參見網路連通方案概述。
配置任務
步驟一：建立同步任務
進入Data Integration頁面。
登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的，在下拉框中選擇對應工作空間後單擊進入Data Integration。
在左側導覽列單擊同步任務，然後在頁面頂部單擊新建同步任務，並配置任務資訊：
數據來源類型：
MySQL。數據去向類型：
Elasticsearch。具体类型：
整庫即時。同步步驟：
結構遷移：自動在目標端建立與源端匹配的索引結構（如索引、欄位對應等），但不包含資料。
全量同步（可選）：一次性將源端指定對象（如表）中的所有歷史資料完整地複製到目標端。通常用於首次資料移轉或資料初始化。
增量同步（可選）：在全量同步完成後，持續地捕獲源端發生的變更資料（新增、修改、刪除），並將其同步至目標端。
步驟二：配置資料來源與運行資源
來源數據源選擇已添加的
MySQL資料來源，去向數據源選擇已添加的Elasticsearch資料來源。在運行資源地區，選擇同步任務所使用的資源組，並為該任務分配資源組CU。
說明當任務日誌中出現
Please confirm whether there are enough resources...等資源不足的提示時，說明當前資源群組的可用計算單元（CU）已無法滿足任務啟動或啟動並執行需求。可在資源組配置面板中，適當調高任務佔用的CU數量，以分配更多計算資源。資源設定大小推薦值詳見：Data Integration推薦CU，實際使用時需根據實際情況進行調整。
並確保來來源資料源與去向資料來源均通過連通性檢查。
步驟三：同步方案配置
1. 配置資料來源
此步驟中，您可以在源端庫表地區選取項目源端資料來源下需要同步的表，並單擊
表徵圖，將其移動至右側已選庫表。若庫表數較多，可以使用庫過濾或者表過濾，通過配置Regex來選擇需要同步的表。
當需要將多個分庫分表（結構相同）寫入同一目標表時，可使用正則選表。
在源表配置中填寫Regex，DataWorks 將自動識別並採集所有匹配的源表，並將其資料統一寫入該運算式映射的目標表中。說明此方式適用於分區表合并同步情境（類分庫分表同步），提升配置效率，避免重複添加多對一同步規則。
2. 目標表映射
操作 | 說明 | ||||||||||||
刷新映射 | 系統會自動列出您選擇的源端表，但目標表的具體屬性需要您重新整理確認後才會生效。
| ||||||||||||
目標索引名映射自定義（可選） | 系統存在預設的表名建置規則：
可實現如下情境：
| ||||||||||||
編輯欄位類型映射（可選） | 系統存在預設的來源類型與目標類型映射，您可以單擊表格右上方的編輯字段類型映射，自訂來源端表與目標端表欄位類型映射關係，配置完後單擊應用並刷新映射。 編輯欄位類型映射時，需要注意欄位類型轉換規則是否正確，否則會導致類型轉換失敗而產生髒資料，影響任務運行。 | ||||||||||||
編輯目標索引（可選） | 系統會根據自訂的索引名映射規則，自動建立尚不存在的目標索引，或複用已存在的同名索引。 DataWorks將基於源端表結構自動產生目標索引結構，常規情境下無需人工幹預。 當目標索引為待建立狀態時，您可以為目標索引在原有表結構基礎上新增欄位。操作如下：
| ||||||||||||
目標表字段賦值 | 原生欄位會根據源端表和目標表的同名欄位進行自動對應，上述步驟中的新增欄位和目標索引屬性需要手動賦值。操作如下：
在賦值時支援賦值常量與變數，可在賦值方式中進行切換類型，支援方式如下：
| ||||||||||||
源端切分列 | 您可以在源端切分列中下拉選擇源端表中的欄位或選擇不切分。同步任務執行時將根據該欄位切分為多個task，以便並發、分批讀取資料。 推薦使用表主鍵作為源端切分列，不支援字串、浮點和日期等其他類型。 目前僅源端為MySQL時支援源端切分列。 | ||||||||||||
是否跳過全量同步 | 若已在步驟三配置全量同步，可以單獨取消同步某個表的全量資料同步。適用於已經通過其他方式將全量資料同步至目標端的情境。 | ||||||||||||
全量條件 | 在全量階段對源端進行條件過濾。此處只需寫where子句，不需要寫出where關鍵字。 | ||||||||||||
DML規則配置 | DML訊息處理用於在資料寫入目標端之前，對源端捕獲的變更資料（ |
按鈕，選擇手動輸入和內建變數進行拼接，產生目標表名。其中變數支援源端資料來源名，源端資料庫名和源端表名。
按鈕，通過編輯建索引語句地區來添加欄位。步驟四：進階配置
進階參數配置
如果需要對任務做精細化配置，達到自訂同步需求，可以進入高級參數頁簽，修改進階參數。
單擊介面右上方的進階配置，進入進階參數配置頁面。
根據參數提示，修改參數值，參數含義見參數名稱後的解釋。
也支援使用AI配置，輸入自然語言修改指令，如調整任務並發數，由大模型產生參數推薦值，您可以根據實際情況選擇是否接受AI產生的參數。
請在完全明白對應參數的含義情況下再進行修改，避免產生任務延時、資源佔用過大導致阻塞其他任務、資料丟失等不可預料的問題。
DDL能力配置
即時同步部分鏈路可以感知源端表結構的中繼資料變更，並且通知目標端，使目標端同步更新，或採取其他諸如警示、忽略或終止運行等處理策略。
您可以單擊介面右上方的DDL能力配置，針對每一種變更類型設定對應的處理策略，不同的通道支援的處理策略不同。
正常處理：由目標端處理源端的DDL變更資訊。
忽略：忽略變更訊息，目標端不做修改。
出錯：終止整庫即時同步任務，狀態置為出錯。
警示：當源端出現此類變更時，向使用者警示。需在報警配置中配置DDL通知規則。
當源端新增列並通過DDL同步在目標端也建立了該列後，系統不會對目標表中的存量資料進行資料回填。
步驟五：發布並執行任務
完成所有配置後，單擊頁面底部的保存，完成任務配置。
整庫同步任務不支援直接調試，需要發布至運維中心運行。因此建立或者編輯任務均需執行发布操作後方可生效。
發布時，若勾選发布后直接启动运行，則在發布時會同步啟動任務。否則，發布完成後，需要進入介面，在目標任務的操作列，手動啟動任務。
單擊任務列表中對應任務的名稱/ID，查看任務的詳細執行過程。
步驟六：警示配置
1.新增警示
在列表，找到對應的整庫即時任務，單擊操作列的，可為任務配置警示策略。
(1) 單擊新建規則，配置警示規則。
您可以通過設定報警原因，對任務的業務延遲、Failover、任務狀態、DDL通知、任務資源利用率等指標進行監控，並根據指定的閾值設定CRITICAL或WARNING兩種不同層級的警示方式。
通過設定高級參數配置，可以控制警示資訊發送的時間間隔，防止一次性發送資訊太多，造成浪費和訊息堆積。
若警示原因選擇業務延遲、任務狀態和任務資源利用率，也支援開啟恢複通知，方便任務恢複正常後，通知接收人。
(2) 管理警示規則。
對於已建立的警示規則，您可以通過警示開關控制警示規則是否開啟，同時，您可以根據警示層級將警示發送給不同的人員。
2.查看警示
單擊展開工作清單的，進入警示事件，可以查看已經發生的警示資訊。
管理工作
編輯任務
在介面，找到已建立的同步任務，單擊操作列的更多，單擊編輯，可以修改任務資訊，操作步驟同任務配置。
對於非運行狀態的任務，您可以直接修改配置並儲存，然後將任務發布至生產環境使其生效。
對於運行中的任務，編輯任務並發布時，若未選擇发布后直接启动运行，原有的操作按鈕將變為應用更新。您須單擊此按鈕，變更才會線上上環境中生效。
單擊應用程式更新後，系統會對變更內容執行"停止，發布，重啟"三個步驟。
若變更方式為新增表或切換已有表：
更新應用時不支援選擇位點，單擊確認後，執行新表的結構遷移和全量初始化，待全量初始化完成後，開始與其他原有表一起執行增量操作。
若修改其他資訊：
更新應用時支援選擇位點，單擊確認後，從指錨點繼續運行。若不指定，從上次停止的時間位點開始運行。
未修改的表均不受影響，在更新重啟後，會從上次停止的時間點繼續運行。
查看任務
建立完成同步任務後，您可以在同步任務頁面查看當前已建立的同步工作清單及各個同步任務的基本資料。
您可以在操作列啟動或停止同步任務，在更多中可以對同步任務進行編輯、查看等操作。
已啟動的任務您可以在執行概況中看到任務啟動並執行基本情況，也可以單擊對應的概況地區查看執行詳情。
MySQL到Elasticsearch的整庫即時同步任務分為三個步驟：
結構遷移：包含目標表的建立方式（已有表/自動建表），如果是自動建表，會展示DDL語句。
全量初始化：包含離線同步的表資訊、同步的進度、以及寫入的條數。
即時資料同步：包含即時同步的統計資訊（即時的進度、DDL記錄、DML記錄和警示資訊）。
任務重跑
在某些特殊情況下，如果您需要增減表、修改目標表Schema資訊或者表名資訊時，您還可以單擊同步任務操作列的重跑，系統會將新增的表或有變更的表進行同步，之前同步過的表或者未修改的表將不會再進行同步。
直接單擊重跑操作，重新運行全量初始化+即時同步。
編輯任務，進行增減表操作後，儲存任務並發布。這個時候任務的操作列會顯示應用程式更新，單擊應用程式更新會直接觸發修改後的任務重跑。此時新增或變更的表才會進行同步，之前同步過的表不會再同步。
斷點續傳
適用情境
在任務啟動或重啟時，手動重設位點主要適用於以下情境：
任務恢複與資料續傳：當任務因故中斷後，為確保資料從準確的斷點處恢複，可能需要手動指定一個停機時間點作為新的啟動位點。
資料問題排查與回溯：若發現同步後的資料存在丟失或異常，可將位點回溯至問題發生前的時間點，對問題資料進行重放和修複。
任務配置重大變更：在對任務配置（如目標索引結構、欄位對應等）進行重大調整後，建議重設位點從一個明確的時間點開始同步，以保證新配置下的資料準確性。
操作說明
單擊啟動，在彈窗中選擇是否重置位點：
不勾選重設位點，直接運行：繼續從上次停止的時間位點（最後一次checkpoint）運行。
重設位點，並選擇時間：從指定的時間位點開始運行，注意選擇的時間不要超過源端的Binlog支援的最早時間位點。
如果您在執行同步任務時提示位點錯誤或不存在，請按如下方式嘗試解決：
重設位點：在啟動即時同步任務時，重設位點並選擇源庫可用的最早位點。
調整日誌保留時間：如果資料庫位點到期，可以考慮在資料庫中調整日誌的保留時間，例如設定為7天。
資料同步：如果資料已經丟失，可以考慮重新全量同步，或者配置一個離線同步任務來手動同步丟失的資料。
常見問題
整庫即時常見問題參見：Data Integration常見問題、Data Integration報錯。