このトピックでは、Data Integration のサーバーレス同期タスクの特徴と設定方法について説明します。
制限事項
-
サポート対象リージョン：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深セン)、中国 (香港)、イギリス (ロンドン)、米国 (シリコンバレー)、米国 (バージニア)、日本 (東京)、ドイツ (フランクフルト)、マレーシア (クアラルンプール)。
-
サポート対象の同期タイプ：
-
MySQL から Hologres：データベース全体のリアルタイム同期
-
MySQL から MaxCompute：データベース全体のリアルタイム同期
-
MySQL から StarRocks：データベース全体のリアルタイム同期
-
-
この機能は、お客様の Alibaba Cloud アカウントに属し、現在のリージョンにあるデータソースのみをサポートします。
注意事項
-
サーバーレス同期タスクはリソースグループを使用しないため、タスク自体に集中できます。
-
サーバーレス同期タスクのネットワーク接続を設定する必要はありません。ただし、ソースデータソースと送信先データソースに関連付けられている VPC CIDR ブロックは重複してはなりません。
-
サーバーレス同期タスクは従量課金制です。タスクが開始されると、注文 ID が自動的に生成されます。この注文 ID を使用して、Alibaba Cloud 注文システムで詳細な請求情報を確認できます。課金の詳細については、「DataWorks サーバーレスリソースグループのパフォーマンスメトリック」をご参照ください。
-
サーバーレスタスクは、実行中の場合にのみ従量課金制で課金されます。タスクが実行されていない場合、課金は停止します。タスクが不要になった場合は、削除できます。この操作は元に戻せません。タスクを削除すると、関連付けられた注文もリリースされます。
操作手順
ステップ 1：サーバーレスタスクの作成
DataWorks コンソールにログインします。 対象のリージョンで、左側のナビゲーションウィンドウのをクリックします。 ドロップダウンリストからワークスペースを選択し、入力 データ統合をクリックします。
-
左側のナビゲーションウィンドウで、[サーバーレス同期タスク] をクリックします。
-
[サーバーレス同期タスク] エリアで、Source と Destination を選択し、Create Serverless Synchronization Task をクリックします。
ステップ 2：基本情報の設定
-
既存のデータソースを使用するには、Use Existing Data Source をクリックし、リストからデータソースを選択します。データソースの情報は自動的に取得されます。
-
Data Source と Destination のデータソースを事前に Data Integration に追加する必要はありません。このページで Data Source または Destination の詳細情報を直接設定できます。
-
ソースと送信先の情報を設定した後、Test をクリックします。Alibaba Cloud RDS および Hologres インスタンスの場合、IP アドレスホワイトリストが設定されていなければ、接続テストは自動的に成功します。IP アドレスホワイトリストが設定されている場合は、必要な IP アドレスをホワイトリストに追加する必要があります。IP アドレスのリストについては、「ネットワーク接続とホワイトリストの設定」をご参照ください。
ステップ 3：タスク設定
画面の指示に従って、特定のタスクタイプに基づいて同期設定を行います。
ステップ 4：設定の完了
上記情報を設定した後、Complete をクリックします。
初めて Complete をクリックすると、Configuration Check が自動的に実行されます。この Configuration Check は Complete をブロックするものではなく、単なる事前チェックであることにご注意ください。
タスクの開始
-
タスクを開始すると、別の Configuration Check がトリガーされます。この Configuration Check は必須です。チェックに失敗した場合、タスクは開始できません。
-
設定チェックの項目は、同期タスクによって異なります。
-
タスクを初めて開始する際、システムはユーザーが必要な権限を持っているかどうかをチェックします。必要な権限は、従量課金制のサーバーレス汎用リソースグループを購入するために必要な権限と同じです。AliyunBSSOrderAccess および AliyunDataWorksFullAccess 権限を持つユーザーのみがタスクを開始できます。
タスク詳細
Name/ID または Execution Overview 列のエントリをクリックして、タスク詳細ページに移動します。
-
基本情報：タスクのデータソース情報、注文 ID、同期計画が含まれます。
-
実行ステータス：同期タスクの各ステップの実行ステータスが表示されます。ランタイムログ、フェールオーバー詳細、リソース使用率も表示できます。
-
詳細情報：スキーマ移行、完全データ初期化、リアルタイム同期に関する詳細が含まれます。
タスクの変更
-
対象タスクの Actions 列で、Edit をクリックしてタスク設定ページに移動します。
-
同期するテーブルを追加、削除、または変更し、Complete をクリックします。
-
Actions 列で、Apply Updates をクリックします。
-
Apply Updates をクリックすると、事前チェックが自動的に実行されます。チェックに失敗した場合、Apply Updates はブロックされます。
-
Apply Updates のチェック項目は、初回起動時のチェック項目よりも少なくなっています。[初回起動] 時とは異なり、Apply Updates をクリックする際にはリソースがすでに初期化されているため、リソース準備フェーズはスキップされます。
-
付録
タスク注文詳細
他のタイプの同期タスクとは異なり、サーバーレス同期タスクはリソースグループを使用しません。タスク固有の注文に基づいて決済され、従量課金制です。
サーバーレスタスクは、実行中の場合にのみ従量課金制で課金されます。タスクが実行されていない場合、課金は停止します。タスクが不要になった場合は、削除できます。この操作は元に戻せません。タスクを削除すると、関連付けられた注文もリリースされます。
次の方法で注文をクエリできます：
-
Name/ID または Execution Overview 列のエントリをクリックして、タスク詳細ページに移動します。
-
Basic Information エリアで、Order ID を取得します。
-
Alibaba Cloud の [注文] ページに移動し、注文 ID を使用して注文を検索します。
詳細設定
同期ソースとルール
デフォルトでは、タスクはソースと同じ名前の送信先スキーマとテーブルにデータを同期します。送信先にスキーマやテーブルが存在しない場合、タスクは自動的に作成します。また、Customize Mapping Rules for Destination Schema Names および Customize Mapping Rules for Destination Table Names オプションを使用して、送信先でのスキーマまたはテーブルの最終的な名前を定義することもできます。これにより、ソース名のプレフィックスを送信先名用に別のプレフィックスに置き換えることができます。
送信先テーブル
送信先テーブルのプロパティを定義できます。たとえば、既存のテーブルまたは新しいテーブルにデータを書き込むかどうかを指定したり、Field を追加したり、パーティションテーブルにデータを書き込むかどうかを指定したり、Partition Field 名、Storage Mode、および Value assignment を設定したりできます。
このステップで Apply and Refresh Mapping ボタンをクリックすると、設定されたルールに基づいてソーステーブルと送信先テーブルがマッピングされます。
ルールの記述
ソースデータに頻繁な DDL または DML 操作が含まれる場合、DDL または DML メッセージ処理ポリシーを設定して、送信先でのデータ整合性を確保できます。詳細については、「DDL メッセージ処理ルール」および「DML メッセージ処理ポリシー」をご参照ください。