ApsaraDB for ClickHouse:RDS for MySQL から ApsaraDB for ClickHouse へのデータ同期（ゼロ ETL 使用）

ソースデータベース（RDS for MySQL）

複数のインスタンスから単一の ApsaraDB for ClickHouse クラスターへデータを同期する場合、異なるタスクの同期対象が重複しないようにご注意ください。

一般的な制限事項

クラスターあたりのゼロ ETL タスクの最大数

クラスターで作成可能なゼロ ETL タスクの最大数は、エディションによって異なります。

• Enterprise Edition: ceil(下限 CCU 制限 / 8)。下限 ClickHouse Compute Unit (CCU) 制限が 22 のクラスターの場合、計算式は ceil(22 / 8) = 3 となります。

• Community Edition: ceil(合計 CPU コア数 / 8)。各ノードが 8 コアの 2 ノードクラスターの場合、計算式は ceil(16 / 8) = 2 となります。

クラスターが上限に達した場合、不要なタスクを削除するか、DTS コンソールから直接追加の同期タスクを作成してください。

送信先のテーブル構造

スキーマ同期時に、ゼロ ETL 機能は各送信先テーブルに _sign、_is_deleted、および _version の各フィールドを追加します。

Community-Compatible Edition クラスターの場合、タスクは各ソーステーブルに対してローカルテーブルと分散テーブルの両方を作成します。

• 分散テーブル: ソーステーブルと同じ名前です。クエリにはこちらのテーブルをご利用ください。

• ローカルテーブル: 名前は <distributed_table_name>_local です。ClickHouse がシャード単位のストレージに内部的に使用します。

スケジューリングとパフォーマンス

タスクは、トラフィックが少ない時間帯に実行してください。フルデータ同期中は、DTS がソースおよび送信先の読み取り／書き込みリソースを使用するため、サーバー負荷が高まる可能性があります。

ステップ 1：サービスタイプリンクロールの作成

AliyunServiceRoleForClickHouseZeroETL のサービスタイプリンクロールを作成します。

タスク設定時にデータベースインスタンス ID を選択すると、コンソールから自動的にこのロールの作成を促すメッセージが表示されます。この場合、手動での作成は不要です。

ステップ 2：RAM ユーザーへの権限付与

RAM ユーザーがゼロ ETL タスクを作成できるようにするには、以下の権限を付与してください。「RAM ユーザーの権限管理」をご参照ください。

• ソース RDS for MySQL: AliyunRDSFullAccess

• 送信先 ClickHouse クラスター: AliyunClickHouseFullAccess

• DTS: 次のスクリプトを用いてカスタムポリシーを作成します。「カスタム権限ポリシーの作成」をご参照ください。

{
    "Version": "1",
    "Statement": [
        {
            "Action": "dts:*",
            "Resource": "*",
            "Effect": "Allow"
        },
        {
            "Action": "ram:PassRole",
            "Resource": "*",
            "Effect": "Allow",
            "Condition": {
                "StringEquals": {
                    "acs:Service": "dts.aliyuncs.com"
                }
            }
        }
    ]
}

ステップ 1：ゼロ ETL ページへ移動

1. ApsaraDB for ClickHouse コンソール にログインします。

2. 左上隅で、ご利用のクラスターのリージョンを選択します。

3. クラスターリスト ページで、Community Edition インスタンス一覧 タブをクリックし、対象のクラスター ID をクリックします。

4. 左側のナビゲーションウィンドウで、ゼロ ETL（シームレス統合） をクリックします。

ステップ 2：ソースおよび送信先データベースの構成

1. ゼロ ETL タスクの作成 をクリックします。

2. タスク名 を入力します。

3. ソースおよび送信先データベースを構成します。

   以下のパラメーターに基づいて、ソースおよび送信先データベースを構成してください。構成が完了したら、次へ をクリックします。

   ソースデータベース

   パラメーター	説明
   データベースタイプ	RDS for MySQL（サポート対象の唯一のオプション）
   アクセス方法	Alibaba Cloud インスタンス（サポート対象の唯一のオプション）
   インスタンスリージョン	ソースの RDS for MySQL インスタンスのリージョン
   RDS インスタンス ID	ソースの RDS for MySQL インスタンスの ID
   データベースアカウント	RDS for MySQL インスタンスのデータベースアカウント
   データベースパスワード	RDS for MySQL インスタンスのデータベースアカウントのパスワード
   暗号化	[暗号化なし] または [SSL 暗号化] を選択します。 [SSL 暗号化] を選択した場合は、まず RDS for MySQL インスタンスで SSL 暗号化を有効化してください。 詳細については、「クラウド証明書を使用して SSL リンク暗号化をすばやく有効化する」をご参照ください。

   送信先データベース

   パラメーター	説明
   データベースタイプ	ClickHouse
   接続タイプ	Alibaba Cloud インスタンス（サポート対象の唯一のオプション）
   インスタンスリージョン	送信先クラスターのリージョン
   クラスター ID	送信先クラスターの ID
   クラスタータイプ	Community Edition または Enterprise Edition
   データベースアカウント	送信先クラスターのデータベースアカウント
   データベースパスワード	送信先クラスターのデータベースアカウントのパスワード

4. 接続テストと続行 をクリックします。

ステップ 3：同期対象オブジェクトの選択

ソースオブジェクト セクションで、同期するデータベースまたはテーブルを選択します。 をクリックして、選択済みオブジェクト セクションへ移動します。

次へ：データベースおよびテーブルフィールドの構成 をクリックします。

ステップ 4：テーブルフィールドの構成

データベース・テーブル・カラムの構成 ページで、各テーブルについて以下の設定を行います。

デフォルトでは、未定義の構成を持つテーブルのみが表示されます。すべてのテーブルを表示するには、定義ステータス を すべて に設定してください。パーティションキーは、プライマリキー列から選択する必要があります。これらのフィールドの詳細については、「CREATE TABLE」をご参照ください。

次へ：タスク設定の保存と事前チェック をクリックします。事前チェックの結果に関わらず、タスクは保存されます。

ステップ 5：事前チェックの実行とタスクの開始

成功率 が 100% に達した場合、開始 をクリックします。

事前チェックが失敗した場合、報告された問題をソースまたは送信先で修正し、ゼロ ETL ページから設定を変更して再び事前チェックを実行してください。

タスクが開始されると、ゼロ ETL ページにタスク ID／名前、ソース／送信先、およびステータスが表示されます。