ApsaraDB for SelectDB は、大規模なデータクエリに対してサブ秒単位の応答を提供し、数万リクエストの同時実行性の高いポイントクエリをサポートし、高スループットの複雑な分析を可能にします。Data Transmission Service (DTS) を使用して、自己管理型 MySQL や RDS MySQL などの MySQL データベースを ApsaraDB for SelectDB に移行し、大規模なデータ分析のニーズに対応できます。このトピックでは、RDS MySQL インスタンスを例に、その手順について説明します。
前提条件
ソース RDS MySQL インスタンスと宛先 ApsaraDB for SelectDB インスタンスが作成されていること。
注意事項
タイプ | 説明 |
ソースデータベースの制限事項 |
|
その他の制限事項 |
|
特殊なケース |
|
課金詳細
移行タイプ | リンク構成料金 | データ転送コスト |
スキーマ移行と完全データ移行 | 無料。 | この例では無料です。 説明 宛先データベースの アクセス方法 が パブリック IP アドレス の場合、データ転送コストが適用されます。詳細については、「課金の概要」をご参照ください。 |
増分データ移行 | 課金対象です。詳細については、「課金の概要」をご参照ください。 |
増分移行でサポートされる SQL 文
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、DELETE |
DDL |
|
データベースアカウントに必要な権限
データベース | スキーマ移行 | 完全移行 | 増分移行 |
ソース RDS MySQL | SELECT 権限 | SELECT 権限 | 読み取り/書き込み |
宛先 SelectDB | クラスターアクセス権限 (Usage_priv) およびデータベース読み取り/書き込み権限 (Select_priv、Load_priv、Alter_priv、Create_priv、Drop_priv) | ||
データベースアカウントを作成し、権限を付与するには：
RDS MySQL インスタンスの場合、「アカウントの作成」および「アカウントの権限変更」をご参照ください。
ソースデータベースアカウントが RDS MySQL コンソールで作成および権限付与されていない場合、アカウントに REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、および SELECT 権限があることを確認する必要があります。
手順
次のいずれかの方法でデータ移行ページに移動し、データ移行インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソールにログインします。
左側のナビゲーションウィンドウで、データの移行 をクリックします。
ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
DMS コンソールにログインします。
上部のナビゲーションバーで、ポインターを に移動します。
[データ移行タスク] の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースと宛先データベースを設定します。次の表にパラメーターを示します。
カテゴリ
構成
説明
なし
タスク名
DTS は自動的にタスク名を生成します。簡単に識別できるように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
移行元データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
インスタンスを DTS に登録できない場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を設定する必要があります。
データベースタイプ
MySQL を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
ソース RDS MySQL インスタンスが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例は、同じ Alibaba Cloud アカウント内での移行です。× を選択します。
RDS インスタンス ID
ソース RDS MySQL インスタンスの ID を選択します。
データベースアカウント
ソース RDS MySQL インスタンスのデータベースアカウントを入力します。必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースアカウントに対応するパスワードを入力します。
暗号化
必要に応じて [非暗号化接続] または [SSL セキュア接続] を選択します。これを [SSL セキュア接続] に設定する場合、事前に RDS for MySQL インスタンスの SSL 暗号化を有効にする必要があります。詳細については、「クラウド証明書を使用して SSL リンク暗号化を迅速に有効にする」をご参照ください。
移行先データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
インスタンスを DTS に登録できない場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を設定する必要があります。
データベースタイプ
[SelectDB] を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
宛先 SelectDB インスタンスが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例は、同じ Alibaba Cloud アカウント内での移行です。× を選択します。
インスタンス ID
宛先 SelectDB インスタンスの ID を選択します。
データベースアカウント
宛先 SelectDB インスタンスのデータベースアカウントを入力します。必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースインスタンスへのアクセスに使用するパスワード。
設定完了後、ページ下部の 接続をテストして続行 をクリックします。
説明DTS サーバーからのアクセスを許可するために、DTS サービスの IP アドレスブロックがソースおよび宛先データベースのセキュリティ設定に自動または手動で追加されていることを確認してください。詳細については、「DTS サーバーの IP アドレスホワイトリストの追加」をご参照ください。
ソースまたは宛先データベースが自己管理型データベースの場合 (アクセス方法 が Alibaba Cloud インスタンス ではない場合)、DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックする必要もあります。
移行対象のオブジェクトを設定します。
オブジェクト設定 ページで、移行したいオブジェクトを設定します。
構成
説明
移行タイプ
完全データ移行のみを実行する必要がある場合は、スキーマ移行 と 完全データ移行 の両方を選択します。
ゼロダウンタイム移行を実行するには、スキーマ移行、完全データ移行、および 増分データ移行 を選択します。
競合するテーブルの処理モード
エラーの事前チェックと報告：ターゲットデータベースに同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、このチェック項目は合格します。同じ名前のテーブルが存在する場合、事前チェックフェーズでエラーが報告され、データ移行タスクは開始されません。
説明宛先データベースで同じ名前のテーブルを削除または名前変更できない場合は、宛先データベースのテーブルの名前を変更できます。詳細については、「テーブル名と列名のマッピング」をご参照ください。
エラーを無視して続行：ターゲットデータベースに同じ名前のテーブルが存在するかどうかのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が生じ、ビジネスにリスクをもたらす可能性があります。例：
テーブルスキーマが一貫しており、DTS が宛先データベースでソースデータベースのレコードと同じプライマリキー値を持つレコードに遭遇した場合、DTS は宛先クラスターのレコードを保持しません。ソースデータベースのレコードが宛先データベースのレコードを上書きします。
テーブルスキーマが不整合な場合、一部の列のデータのみが移行されるか、移行が失敗する可能性があります。注意して進めてください。
移行先インスタンスでのオブジェクト名の大文字化
宛先インスタンスのデータベース名、テーブル名、列名の大文字/小文字。デフォルトでは、[DTS のデフォルトポリシー] が選択されています。他のオプションを選択して、オブジェクト名の大文字/小文字がソースまたは宛先データベースと一致するようにすることができます。詳細については、「宛先インスタンスのオブジェクト名の大文字/小文字の指定」をご参照ください。
ソースオブジェクト
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。
アイコンをクリックして、オブジェクトを 選択中のオブジェクト セクションに追加します。説明データベースまたはテーブルレベルで移行するオブジェクトを選択できます。
選択中のオブジェクト
宛先インスタンスで移行オブジェクトの名前を変更するには、選択中のオブジェクト で移行オブジェクトを右クリックします。詳細については、「スキーマ、テーブル、および列名のマッピング」をご参照ください。
移行タイプ が スキーマ移行 に設定され、オブジェクトがテーブル粒度で選択され、バケット数 (
bucket_countパラメーター) を設定する必要がある場合、選択中のオブジェクト リストで移行対象のテーブルを右クリックします。パラメーター設定 エリアで、パラメーター設定の有効化 を ○ に設定し、要件に基づいて パラメーター値 を設定してから [OK] をクリックします。
説明データベースまたはテーブルレベルで増分移行の SQL 操作を選択するには、選択中のオブジェクト で移行対象のオブジェクトを右クリックし、表示されるダイアログボックスで目的の SQL 操作を選択します。
データをフィルタリングするための WHERE 条件を設定するには、選択中のオブジェクト セクションで移行対象のテーブルを右クリックし、表示されるダイアログボックスでフィルター条件を設定します。詳細については、「フィルター条件の設定」をご参照ください。
オブジェクト名マッピング機能を使用する場合、マッピングされたオブジェクトに依存する他のオブジェクトの移行が失敗する可能性があります。
詳細設定へ をクリックして詳細設定を行います。
構成
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、専用クラスターを指定しない場合、DTS は共有クラスターにデータ移行タスクをスケジュールします。データ移行タスクの安定性を向上させたい場合は、専用クラスターを購入してください。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
接続失敗時のリトライ時間範囲。データ移行タスク開始後にソースまたは宛先データベースへの接続に失敗した場合、DTS はリトライ時間範囲内ですぐに接続をリトライします。有効な値：10 から 1,440。単位：分。デフォルト値：720。パラメーターを 30 より大きい値に設定することを推奨します。指定されたリトライ時間範囲内に DTS がソースおよび宛先データベースに再接続された場合、DTS はデータ移行タスクを再開します。そうでない場合、データ移行タスクは失敗します。
説明同じソースまたは宛先データベースを共有する複数のデータ移行タスクに異なるリトライ時間範囲を指定した場合、後から指定された値が優先されます。
DTS が接続をリトライする際、DTS インスタンスに対して課金されます。ビジネス要件に基づいてリトライ時間範囲を指定することを推奨します。また、ソースデータベースと宛先インスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題のリトライ時間範囲。たとえば、データ移行タスク開始後に DDL または DML 操作が失敗した場合、DTS はリトライ時間範囲内ですぐに操作をリトライします。有効な値：1 から 1440。単位：分。デフォルト値：10。パラメーターを 10 より大きい値に設定することを推奨します。指定されたリトライ時間範囲内に失敗した操作が正常に実行された場合、DTS はデータ移行タスクを再開します。そうでない場合、データ移行タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値より小さくする必要があります。
完全移行率を制限するかどうか
完全データ移行のスロットリングを有効にするかどうかを指定します。完全データ移行中、DTS はソースおよび宛先データベースの読み取りおよび書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。ビジネス要件に基づいて完全データ移行のスロットリングを有効にすることができます。スロットリングを設定するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、宛先データベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 完全データ移行 を選択した場合にのみ設定できます。
増分移行率を制限するかどうか
増分データ移行のスロットリングを有効にするかどうかを指定します。スロットリングを設定するには、1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、宛先データベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 増分データ移行 を選択した場合にのみ設定できます。
環境タグ
必要に応じて環境タグを選択してインスタンスを識別できます。この例では、選択は不要です。
順方向および逆方向タスクのハートビートテーブル SQL を削除
ビジネスニーズに基づき、DTS インスタンスの実行中にソースデータベースにハートビート SQL 情報を書き込むかどうかを選択します。
[はい]：ハートビート SQL 情報はソースデータベースに書き込まれません。これにより、DTS インスタンスが遅延を報告する可能性があります。
[いいえ]：ソースデータベースにハートビート SQL 情報を書き込みます。これにより、ソースデータベースの物理バックアップやクローニングなどの機能に干渉する可能性があります。
ETL 機能の設定
抽出、変換、ロード (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効な値：
[はい]：ETL 機能を設定します。コードエディタでデータ処理文を入力できます。詳細については、「データ移行またはデータ同期タスクでの ETL の設定」をご参照ください。
[いいえ]：ETL 機能を設定しません。
監視アラート
データ移行タスクのアラートを設定するかどうかを指定します。タスクが失敗した場合や移行遅延が指定されたしきい値を超えた場合、アラート連絡先は通知を受け取ります。有効な値：
[いいえ]：アラートを設定しません。
はい: アラートを設定します。この場合、アラートのしきい値とアラート通知設定も設定する必要があります。詳細については、「モニタリングとアラートの設定」 トピックの「DTS タスクの作成時にモニタリングとアラートを設定する」セクションをご参照ください。
オプション：上記の設定を完了した後、次：データベースおよびテーブルのフィールド設定 をクリックして、宛先テーブルの プライマリキー列の追加、配布キー、および エンジンの選択 を設定します。
説明このステップは、タスクオブジェクト設定中に 移行タイプ で スキーマ移行 を選択した場合にのみ利用可能です。その後、定義ステータス で すべて を選択して変更を行うことができます。
プライマリキー列の追加 は、複数の列で構成される複合プライマリキーにすることができます。プライマリキー列の追加 から 1 つ以上の列を選択して 配布キー として使用する必要があります。
テーブルにプライマリキーも UNIQUE 制約もない場合、エンジンの選択 を [duplicate] に設定する必要があります。そうしないと、インスタンスの障害やデータ損失が発生する可能性があります。
タスク設定を保存し、事前チェックを実行します。
関連する API 操作を呼び出して DTS タスクを設定する際に指定するパラメーターを表示するには、ポインターを 次：タスク設定の保存と事前チェック に移動し、OpenAPI パラメーターのプレビュー をクリックします。
パラメーターを表示する必要がない場合、または表示済みの場合は、ページ下部の 次：タスク設定の保存と事前チェック をクリックします。
説明データ移行タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後にのみ、データ移行タスクを開始できます。
タスクが事前チェックに合格しなかった場合は、各失敗項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、再度事前チェックを実行します。
事前チェック中に項目に対してアラートがトリガーされた場合：
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックし、問題をトラブルシューティングします。その後、再度事前チェックを実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。[詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで [OK] をクリックします。その後、[再度事前チェック] をクリックして再度事前チェックを実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスに潜在的なリスクがもたらされる可能性があります。
インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。その後、[次へ: インスタンスの購入] をクリックします。
[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。次の表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
[リソースグループ]
データ移行インスタンスが属するリソースグループ。デフォルト値：[デフォルトリソースグループ]。詳細については、「Resource Management とは」をご参照ください。
インスタンスクラス
DTS は、移行速度が異なるインスタンスクラスを提供します。ビジネスシナリオに基づいてインスタンスクラスを選択できます。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。
チェックボックスを選択して、[Data Transmission Service (従量課金) サービス規約] を読み、同意します。
[購入して開始] をクリックします。表示されるメッセージで、[OK] をクリックします。
[データ移行] ページでタスクの進行状況を表示できます。
説明データ移行タスクが増分データの移行に使用できない場合、タスクは自動的に停止します。[ステータス] セクションに [完了] が表示されます。
データ移行タスクが増分データの移行に使用できる場合、タスクは自動的に停止しません。増分データ移行タスクは決して停止または完了しません。[ステータス] セクションに [実行中] が表示されます。
データ型マッピング
カテゴリ | MySQL データ型 | SelectDB データ型 |
数値 | TINYINT | TINYINT |
TINYINT UNSIGNED | SMALLINT | |
SMALLINT | SMALLINT | |
SMALLINT UNSIGNED | INT | |
MEDIUMINT | INT | |
MEDIUMINT UNSIGNED | BIGINT | |
INT | INT | |
INT UNSIGNED | BIGINT | |
BIGINT | BIGINT | |
BIGINT UNSIGNED | LARGEINT | |
BIT(M) | INT | |
Decimal | Decimal 説明 zerofill 属性はサポートされていません。 | |
Numeric | Decimal | |
Float | Float | |
Double | DOUBLE | |
| BOOLEAN | |
日付と時刻 | DATE | DATEV2 |
DATETIME[(fsp)] | DATETIMEV2 | |
Timestamp[(fsp)] | DATETIMEV2 | |
Time[(fsp)] | VARCHAR | |
YEAR[(4)] | INT | |
文字列 |
| VARCHAR 重要 データ損失を防ぐため、CHAR および VARCHAR(n) 型のデータは SelectDB に移行された後、VARCHAR(4*n) に変換されます。
|
| STRING | |
| STRING | |
| STRING | |
ENUM | STRING | |
SET | STRING | |
JSON | STRING |
追加の列
次の表は、DTS によって自動的に追加されるか、または Duplicate モデルを使用する宛先テーブルに手動で追加する必要がある追加の列について説明します。
名前 | データ型 | デフォルト値 | 説明 |
_is_deleted | Int | 0 | データが削除されたかどうかを示します。
|
_version | Bigint | 0 |
|
_record_id | Bigint | 0 |
|