本文介紹如何在雲訊息佇列 Kafka 版控制台查看Connector任務配置資訊、查看Connector日誌、啟暫停Connector、修改Connector配置、測試Connector、查看消費詳情和刪除Connector。
前提條件
您已建立以下任意一種Connector:
僅FC Sink Connector和MySQL Source Connector支援修改Connector配置。
注意事項
僅FC Sink Connector支援修改Connector配置。
暫停Connector時,Connector需處於運行中狀態;啟用Connector時,Connector需處於暫停狀態。
查看Connector任務配置
您可以查看已建立的Connector的基礎資訊、源執行個體配置、目標執行個體配置等資訊。
在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊Connector 任务列表。
在Connector 任务列表頁面,從选择实例的下拉式清單選擇Connector所屬的執行個體,在執行個體下的Connector列表中找到目標Connector,單擊操作列的详情。
在Connector詳情頁面,顯示Connector的基础信息、源信息和目标信息。
查看Connector日誌
如果您的Connector出現異常,您可以在雲訊息佇列 Kafka 版控制台查看Connector的日誌以進行異常排查。
在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊Connector 任务列表。
在Connector 任务列表頁面,從选择实例的下拉式清單選擇Connector所屬的執行個體,在執行個體下的Connector列表中找到目標Connector,在其操作列,選擇。
您也可以在目標Connector名稱處單擊或在其操作列,單擊详情,然後在Connector詳情頁面右上方單擊查看日志。
說明操作列查看日志位置和任務狀態有關,實際請以介面顯示為準。
在查看Connector日誌頁面,查看Connector的日誌。
修改Connector配置
成功建立FC Sink Connector或MySQL Source Connector後,您可以在雲訊息佇列 Kafka 版控制台更新其配置。
在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊Connector 任务列表。
在Connector 任务列表頁面,從选择实例的下拉式清單選擇Connector所屬的執行個體,在執行個體下的Connector列表中找到目標Connector,在其操作列,選擇。
您也可以在目標Connector名稱處單擊或在其操作列,單擊详情,然後在Connector詳情頁面右上方單擊修改配置。
在修改配置面板,按需修改配置參數,然後單擊確定。
修改FC Sink Connector配置
參數
描述
消费线程并发数
資料來源Topic的消費線程並發數。預設值為6。取值說明如下:
1
2
3
6
12
失败处理
訊息發送失敗後,是否繼續訂閱出現錯誤的Topic的分區。取值說明如下:
继续订阅:繼續訂閱出現錯誤的Topic的分區,並列印錯誤記錄檔。
停止订阅:停止訂閱出現錯誤的Topic的分區,並列印錯誤記錄檔。
說明如何查看日誌,請參見Connector相關操作。
如何根據錯誤碼尋找解決方案,請參見錯誤碼列表。
发送模式
訊息的發送模式。取值如下:
同步:發送端和接收端必須同時處於運行狀態,隨時做好相互連信的準備。
异步: 發送端在發送訊息之後可以不用等待服務端的響應, 可以接著處理其他任務。
发送批大小
批量發送訊息的條數。
預設值為20,取值範圍為[1,5000]。
重试次数
訊息發送失敗後的重試次數。預設為2。取值範圍為1~3。部分導致訊息發送失敗的錯誤不支援重試。關於錯誤碼的詳細資料,請參見錯誤碼列表。錯誤碼與是否支援重試的對應關係如下:
4xx:除429支援重試外,其餘錯誤碼不支援重試。
5xx:支援重試。
說明Connector調用InvokeFunction向Function Compute發送訊息。
修改MySQL Source Connector
參數
描述
数据库表
需要同步的阿里雲資料庫RDS MySQL版執行個體資料庫表的名稱,多個表名以英文逗號(,)分隔。
資料庫表和目標Topic是一對一的關係。
說明如果是在原任務基礎上增加或修改表,需提前在雲訊息佇列 Kafka 版控制台建立與之對應的Topic,即Topic名稱為
Topic首碼_資料表名,否則會在運行時出錯。建立Topic的具體操作,請參見步驟一:建立Topic。
修改完成後,在Connector 任务列表頁面,找到目標Connector。在其操作列,單擊详情。在Connector 详情頁面,查看到更新後的Connector配置。
啟停Connector
如果您需要暫時中止某個運行中的Connector或恢複某個暫停Connector,您可以在雲訊息佇列 Kafka 版控制台暫停或啟用該Connector。
在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊Connector 任务列表。
在Connector 任务列表頁面,從选择实例的下拉式清單選擇Connector所屬的執行個體,在執行個體下的Connector列表中找到目標Connector,根據需要暫停或啟用該Connector。
暫停Connector:在其操作列,選擇,然後在提示對話方塊,確認暫停Connector,單擊確認。
啟用Connector:在其操作列,單擊启用,然後在提示對話方塊,確認啟動Connector,單擊確認。
您也可以在目標Connector名稱處單擊或在其操作列,單擊详情,然後在Connector詳情頁面右上方單擊暂停或启用。
在Connector 任务列表頁面,找到暫停或啟用的Connector,状态已變更為已暂停或運行中。
說明如果是MySQL Source Connector任務,暫停時間比較久時,會出現啟動失敗的情況。您可以在目標任務的操作,單擊任务配置,在DataWorks頁面,目標同步任務所在行,單擊啟動。在啟動對話方塊,勾選重設位點,並配置啟動時間點位,然後單擊確定。
測試Connector
如果您需要測試某個Connector,您可以在雲訊息佇列 Kafka 版控制台向Connector發送測試訊息。
在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊Connector 任务列表。
在Connector 任务列表頁面,從选择实例的下拉式清單選擇Connector所屬的執行個體,在執行個體下的Connector列表中找到目標Connector,在其右側操作列,單擊测试。
您也可以在目標Connector名稱處單擊或在其操作列,單擊详情,然後在Connector詳情頁面右上方單擊测试。
說明操作列测试位置和任務狀態有關,實際請以介面顯示為準。
在发送消息面板,發送測試訊息。
在消息 Key文字框中輸入訊息的Key值,例如demo。
在消息内容文字框輸入測試的訊息內容,例如 {"key": "test"}。
設定发送到指定分区,選擇是否指定分區。
單擊是,在分区 ID文字框中輸入分區的ID,例如0。如果您需查詢分區的ID,請參見查看分區狀態。
單擊否,不指定分區。
查看消費進度
Connector任務建立完成並開始運行後,您可以查看Connector資料同步任務使用的Group在資料來源Topic中的消費情況。其中,Group的名稱為connect-{任務名稱}。
在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊Connector 任务列表。
在Connector 任务列表頁面,從选择实例的下拉式清單選擇Connector所屬的執行個體,在執行個體下的Connector列表中找到目標Connector,在其操作列,單擊消费进度。
您也可以在目標Connector任務名稱處單擊或在其操作列單擊详情,然後在Connector詳情頁面右上方單擊消费进度。
在Group消費詳情面板,您可以查看Connector任務使用的Group在資料來源Topic中的消費詳情。
刪除Connector
雲訊息佇列 Kafka 版限制了每個執行個體的Connector數量。如果您不再需要某個Connector,您可以在雲訊息佇列 Kafka 版控制台刪除該Connector。
如果MySQL Source Connector任務處於運行狀態,在雲訊息佇列 Kafka 版控制台將無法直接刪除,您需登入DataWorks控制台停止並下線Connector任務,然後提交工單清理雲訊息佇列 Kafka 版Connector任務的元資訊。其他FC Sink Connector、MaxCompute Sink Connector、OSS Sink Connector以及Elasticsearch Sink Connector任務,均可在雲訊息佇列 Kafka 版控制台直接刪除。
當刪除Connector時,系統會同時刪除該Connector依賴的5個Topic和2個Group,無論這些資源當時是自動建立的還是手動建立的。
在概览頁面的资源分布地區,選擇地區。
在左側導覽列,單擊Connector 任务列表。
在Connector 任务列表頁面,從选择实例的下拉式清單選擇Connector所屬的執行個體,在執行個體下的Connector列表中找到目標Connector,在其操作列,選擇。
您也可以在目標Connector任務名稱處單擊或在其操作列單擊详情,然後在Connector詳情頁面右上方單擊删除。
在提示對話方塊,單擊確認,刪除Connector。