ApsaraDB RDS:SQL Server インスタンスレベルのクラウドへの移行

前提条件

• ソースは自己管理の SQL Server データベースである必要があります。

• 移行先の ApsaraDB RDS for SQL Server インスタンスは、次の要件を満たす必要があります：

  • インスタンスの利用可能なストレージ領域は、移行するデータファイルのサイズより大きい必要があります。利用可能なストレージ領域が不足している場合は、インスタンス仕様をアップグレードしてください。

  • SQL Server 2008 R2 の場合、移行先インスタンスにソースデータベースと同じ名前のデータベースを作成する必要があります。この要件は、他のバージョンには適用されません。

• RAM ユーザーとしてログインする場合は、以下の要件を満たす必要があります。

  • RAM ユーザーに AliyunOSSFullAccess および AliyunRDSFullAccess 権限が付与されていること。RAM ユーザーへの権限付与方法の詳細については、「RAM を使用した OSS 権限の管理」および「RAM を使用した ApsaraDB RDS 権限の管理」をご参照ください。

  • Alibaba Cloud アカウント (プライマリアカウント) が、ApsaraDB RDS の公式サービスアカウントに OSS リソースへのアクセスを許可していること。

    クリックして権限付与方法を表示

    1. ApsaraDB RDS インスタンスの復元 ページに移動し、OSS バックアップデータをクラウド上で復元する をクリックします。

    2. インポートガイド ページで、次へ を 2 回クリックして 3. データのインポート ステップに進みます。

       ページの左下隅にApsaraDB RDS 公式サービスアカウントによる OSS リソースへのアクセスが承認されましたが表示された場合、承認は完了しています。表示されない場合、承認は完了していません。この場合、ページで権限付与アドレスをクリックして承認を付与してください。

       [3. データのインポート] ページで、以下のパラメータを設定します。

       • [データベース名]：移行先データベースの名前を入力します。

       • [OSS バケット]：ドロップダウンリストから、アップロードしたバックアップファイルが保存されているバケットを選択します。

       • [OSS ファイルリスト]：ファイル名のプレフィックスを入力してバックアップファイルを検索し、ファイルを選択します。

       • [移行方法]：[データベースを開く (完全バックアップファイルが 1 つのみ)] または [データベースを開かない (差分バックアップまたはログファイルが利用可能)] を選択します。

       • [整合性チェック方法]：[同期 DBCC] または [非同期 DBCC] を選択します。

  • Alibaba Cloud アカウント (プライマリアカウント) で手動で権限ポリシーを作成し、そのポリシーを RAM ユーザーにアタッチします。

    クリックしてポリシーの内容を表示

    {
        "Version": "1",
        "Statement": [
            {
                "Action": [
                    "ram:GetRole"
                ],
                "Resource": "acs:ram:*:*:role/AliyunRDSImportRole",
                "Effect": "Allow"
            }
        ]
    }

制限

このソリューションは完全移行のみをサポートし、増分移行は現在サポートしていません。

課金

このトピックで説明されている方法を使用してデータを移行する場合、OSS バケットの使用に対してのみ課金されます。

前提条件

python --version
python3 --version
py --version

python --version
python3 --version

pip install alibabacloud_rds20140815
pip install alibabacloud-oss-v2
pip install alibabacloud_tea_openapi
pip install alibabacloud_tea_util

1. セルフマネージド SQL Server データベースのバックアップ

1. バックアップスクリプトをダウンロードします。

2. バックアップスクリプトをダブルクリックして Microsoft SQL Server Management Studio (SSMS) で開きます。SSMS を使用した接続方法については、公式ドキュメントをご参照ください。

3. 必要に応じて、次のパラメーターを変更します。

   クリックして例を展開

   SELECT
       /**
       * バックアップするデータベースのリスト。デリミタとしてセミコロン (;) またはカンマ (,) を使用します。
       * 空の値 ('') または null を指定すると、システム データベースを除くすべてのデータベースがバックアップされます。
       * 例：'[testdb]: TestDR, Test, readonly'
       **/
       @backup_databases_list = N'[dtstestdata],[testdb]'
       @backup_type = N'FULL',                    -- バックアップタイプ。有効な値： FULL (完全バックアップ)、 DIFF (差分バックアップ)、 LOG (ログ バックアップ)。
       @backup_folder = N'C:\BACKUP'              -- バックアップファイルを保存するフォルダー。
       @is_run = 1                                -- バックアップを実行するかどうかを指定します。1： バックアップを実行します。0： チェックのみ行います。

   パラメーター	説明
   @backup_databases_list	バックアップするデータベース。複数のデータベース名を指定する場合は、セミコロン (;) またはカンマ (,) で区切ります。
   @backup_type	バックアップタイプ。有効な値： FULL：完全バックアップ。 DIFF：差分バックアップ。 LOG：ログ バックアップ。 重要 この手順では、このパラメーターを FULL に設定する必要があります。
   @backup_folder	バックアップファイルを保存するローカル ディレクトリ。このディレクトリが存在しない場合は、自動的に作成されます。
   @is_run	バックアップを実行するかどうかを指定します。有効な値： 1：バックアップを実行します。 0：チェックのみ行います。

4. バックアップスクリプトを実行し、データベースを指定したディレクトリにバックアップします。

   バックアップが完了すると、C:\backup ディレクトリに dtstestdata_FULL_20200408154821.bak や testdb_FULL_20200408154821.bak などの .bak バックアップファイルが生成され、バックアップスクリプトが正常に実行されたことを示します。

2. OSS へのバックアップファイルのアップロード

1. バックアップファイルを OSS にアップロードする前に、OSS にバケットを作成する必要があります。

   • OSS にバケットが既に存在する場合、バケットが次の要件を満たしていることを確認してください：

     • バケットのストレージクラスは 標準ストレージ です。 IA、アーカイブ、コールドアーカイブ、およびディープコールドアーカイブのストレージクラスはサポートされていません。

     • バケットに対して サーバー側の暗号化 が有効になっていないことを確認してください。

   • OSS にバケットが存在しない場合は、まずバケットを作成します。 (OSS が 有効化 されていることを確認してください。)

     1. OSS コンソールにログオンし、バケット をクリックし、次に バケットの作成 をクリックします。

     2. 次の主要なパラメーターを設定し、他のパラメーターはデフォルト値のままにします。

        重要

        • このバケットはこのデータ移行でのみ使用されため、主要なパラメーターのみを設定する必要があります。 移行完了後、データ漏洩や追加料金を防ぐために、バケットを速やかに削除してください。

        • バケット作成時に サーバー側の暗号化 を有効にしないでください。

        パラメーター	説明	例
        [バケット名]	バケットの名前。 名前はグローバルに一意である必要があり、バケット作成後は変更できません。 命名規則： 名前には、小文字、数字、ハイフン (-) のみ使用できます。 名前の先頭と末尾は、小文字または数字である必要があります。 名前の長さは 3～63 文字である必要があります。	migratetest
        [リージョン]	バケットが存在するリージョン。 ECS インスタンスから内部ネットワーク経由でバケットにデータをアップロードし、内部ネットワーク経由でデータを ApsaraDB RDS インスタンスに復元する場合、ECS インスタンス、バケット、ApsaraDB RDS インスタンスが同じリージョンに存在することを確認してください。	中国 (杭州)
        [ストレージタイプ]	[標準ストレージ] を選択します。 このトピックで説明する移行操作は、他のストレージクラスのバケットをサポートしていません。	スタンダード

2. バックアップファイルを OSS にアップロードします。

   セルフマネージドデータベースのバックアップが完了したら、バックアップファイルを ApsaraDB RDS インスタンスと 同じリージョン にある OSS バケットにアップロードします。 バケットと ApsaraDB RDS インスタンスが同じリージョンにある場合、バケットとインスタンスは内部ネットワーク経由で通信できます。 この場合、インターネットトラフィック料金は発生せず、データはより高速にアップロードされます。 次のいずれかの方法を使用できます：

   ossbrowser を使用したファイルのアップロード (推奨)

   1. ossbrowser をダウンロードします。

   2. この例では、Windows x64 を使用します。 ダウンロードした oss-browser-win32-x64.zip パッケージを解凍し、oss-browser.exe アプリケーションをダブルクリックします。

   3. ログオン方法として アクセスキー を選択し、Access Key ID と Access Key Secret パラメーターを設定し、その他のパラメーターはデフォルト値のままにして、ログイン をクリックします。

      説明

      AccessKey は、データセキュリティを確保するための ID 認証に使用されます。 AccessKey は機密情報として扱ってください。

   4. 移行先のバケットをクリックして、そのバケットに移動します。

   5. をクリックし、アップロードするバックアップファイルを選択して、[開く] をクリックします。 ローカルファイルが OSS にアップロードされます。

   OSS コンソールを使用したファイルのアップロード

   説明

   バックアップファイルのサイズが 5 GB 未満の場合は、OSS コンソールで直接バックアップファイルをアップロードできます。

   1. OSS コンソールにログインします。

   2. バケット をクリックし、移行先のバケットの名前をクリックします。

   3. ファイルリスト で、Upload File をクリックします。

   4. バックアップファイルを アップロードするファイル セクションにドラッグするか、ファイルの選択 をクリックして、アップロードするバックアップファイルを選択します。

   5. ページの下部にあるUpload Fileをクリックします。ローカルバックアップファイルが OSS にアップロードされます。

   OSS API を使用したファイルのアップロード (Python 3 プロジェクトの例)

   説明

   バックアップファイルのサイズが 5 GB を超える場合は、OSS API を呼び出して、マルチパートアップロードを使用してバックアップファイルを OSS バケットにアップロードしてください。

   # -*- coding: utf-8 -*-
   """
   Alibaba Cloud OSS Python SDK v2
   依存関係： pip install alibabacloud-oss-v2
   """
   
   import os
   import sys
   from pathlib import Path
   import alibabacloud_oss_v2 as oss
   from alibabacloud_oss_v2 import exceptions as oss_ex
   
   
   def get_client_from_env(region: str, endpoint: str | None = None) -> oss.Client:
       """
       環境変数から v2 クライアントを作成します。
       - リージョン (推奨) の使用を優先しますが、カスタムエンドポイント (オプション) もサポートします。
       - AK と STS の両方と互換性があります：
           * AK： OSS_ACCESS_KEY_ID / OSS_ACCESS_KEY_SECRET が必要
           * STS： OSS_SESSION_TOKEN も必要 (古い変数 OSS_SECURITY_TOKEN と互換性あり)
       """
       # 互換性： ユーザーが古い変数 OSS_SECURITY_TOKEN を使用している場合、v2 が期待する OSS_SESSION_TOKEN にマッピングします
       sec_token_legacy = os.getenv("OSS_SECURITY_TOKEN")
       if sec_token_legacy and not os.getenv("OSS_SESSION_TOKEN"):
           os.environ["OSS_SESSION_TOKEN"] = sec_token_legacy
   
       ak = os.getenv("OSS_ACCESS_KEY_ID")
       sk = os.getenv("OSS_ACCESS_KEY_SECRET")
       st = os.getenv("OSS_SESSION_TOKEN")  # STS トークン (オプション)
   
       if not (ak and sk):
           raise ValueError("No valid AK found. Set the OSS_ACCESS_KEY_ID and OSS_ACCESS_KEY_SECRET environment variables. "
                            "If using STS, also set OSS_SESSION_TOKEN (or the old name OSS_SECURITY_TOKEN).")
   
       # 使用される認証情報の種類を示します
       if st:
           print("STSトークン (OSS_SESSION_TOKEN) が検出されました。STS認証情報を使用します。")
       else:
           print("STSトークンは検出されませんでした。AccessKey (AK) 認証情報を使用します。")
   
       credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()
       cfg = oss.config.load_default()
       cfg.credentials_provider = credentials_provider
   
       # 基本的なネットワーク設定
       cfg.region = region  # 例： 'cn-hangzhou'
       if endpoint:
           # オプション： カスタムエンドポイント (例： 内部ネットワーク、アクセラレーション、専用ドメイン)
           cfg.endpoint = endpoint
   
       # ここに他の設定を追加することもできます。例： cfg.use_accelerate_endpoint = True
       return oss.Client(cfg)
   
   
   def resumable_upload_file_v2(
       client: oss.Client,
       bucket_name: str,
       object_key: str,
       file_path: str,
       part_size: int = 1 * 1024 * 1024,
       parallel_num: int = 4,
       checkpoint_dir: str | None = None,
   ):
       """
       レジュームアップロードを使用して同時マルチパートアップロードを実装します。
   
       :param client: 初期化された oss.Client
       :param bucket_name: 移行先のバケット名
       :param object_key: 移行先のオブジェクトキー (バケット名なし)
       :param file_path: ローカルファイルのフルパス
       :param part_size: パートサイズ (バイト単位)、デフォルトは 1 MB
       :param parallel_num: 同時アップロードスレッド数、デフォルトは 4
       :param checkpoint_dir: ブレークポイント情報を保存するディレクトリ。None の場合、レジュームアップロードは無効になります
       """
       file_path = str(file_path)
       if not Path(file_path).exists():
           raise FileNotFoundError(f"Error: Local file not found. Check the file_path configuration: {file_path}")
   
       # Uploader を構築します。checkpoint_dir が提供されているかどうかに基づいてレジュームアップロードを有効にします
       if checkpoint_dir:
           uploader = client.uploader(
               enable_checkpoint=True,
               checkpoint_dir=checkpoint_dir,
               part_size=part_size,
               parallel_num=parallel_num,
           )
       else:
           uploader = client.uploader(
               part_size=part_size,
               parallel_num=parallel_num,
           )
   
       print(f"ファイルのアップロードを開始します: {file_path}")
       print(f"移行先バケット: {bucket_name}")
       print(f"移行先オブジェクト: {object_key}")
       print(f"パートサイズ: {part_size} バイト, 同時実行数: {parallel_num}")
       if checkpoint_dir:
           print(f"レジュームアップロード: 有効 (checkpoint_dir={checkpoint_dir})")
       else:
           print("レジュームアップロード: 無効 (有効にするには checkpoint_dir を設定してください)")
   
       # アップロードを実行します (Uploader はサイズに基づいてマルチ/シングルパートの同時アップロードを自動的に選択します)
       result = uploader.upload_file(
           oss.PutObjectRequest(bucket=bucket_name, key=object_key),
           filepath=file_path,
       )
   
       print("-" * 30)
       print("ファイルが正常にアップロードされました。")
       print(f"HTTPステータス: {result.status_code}")
       print(f"ETag: {result.etag}")
       print(f"Request ID: {result.request_id}")
       # CRC-64 チェックサム。v2 はデフォルトでデータ検証を有効にします
       print(f"CRC64: {result.hash_crc64}")
       print("-" * 30)
   
   
   def main():
       # コード例を実行する前に、対応する環境変数が設定されていることを確認してください。
       # macOS/Linux：
       #   AK 方式：
       #     export OSS_ACCESS_KEY_ID=YOUR_AK_ID
       #     export OSS_ACCESS_KEY_SECRET=YOUR_AK_SECRET
       #   STS 方式：
       #     export OSS_ACCESS_KEY_ID=YOUR_STS_ID
       #     export OSS_ACCESS_KEY_SECRET=YOUR_STS_SECRET
       #     export OSS_SECURITY_TOKEN=YOUR_STS_TOKEN
       #
       # Windows：
       #   Powershell： $env:OSS_ACCESS_KEY_ID="YOUR_AK_ID"
       #   cmd： set OSS_ACCESS_KEY_ID=YOUR_AK_ID
   
       # ===================== パラメーター (必要に応じて変更) =====================
       # リージョンの例： 'cn-hangzhou'。最初にリージョンを使用することを推奨します
       region = "cn-hangzhou"
   
       # オプション： カスタムエンドポイント (内部ネットワーク、専用ドメイン、アクセラレーションドメイン名など)
       # 例： 'https://oss-cn-hangzhou.aliyuncs.com'
       endpoint = 'https://oss-cn-hangzhou.aliyuncs.com'
   
       # バケットとオブジェクト
       bucket_name = "examplebucket"
       object_key = "test.bak"
   
       # アップロードするローカルファイルのフルパス。
       # Windows の例： r'D:\localpath\examplefile.txt' (先頭の r に注意)
       # macOS/Linux の例： '/Users/test/examplefile.txt'
       file_path = r"D:\oss\test.bak"
   
       # シャーディングと同時実行数
       part_size = 1 * 1024 * 1024  # デフォルトは 1 MB。OSS では最小パートサイズ 100 KB が必要です
       parallel_num = 4
   
       # レジュームアップロードディレクトリ (無効にするには None を渡します。書き込み可能なディレクトリを指定することを推奨します)
       checkpoint_dir = str(Path.cwd() / ".oss_checkpoints")
       # =================== パラメーターの終わり ===================
   
       print("スクリプトの実行を開始します...")
       try:
           client = get_client_from_env(region=region, endpoint=endpoint)
           # レジュームアップロードが有効な場合、ディレクトリが存在することを確認します
           if checkpoint_dir:
               Path(checkpoint_dir).mkdir(parents=True, exist_ok=True)
   
           resumable_upload_file_v2(
               client=client,
               bucket_name=bucket_name,
               object_key=object_key,
               file_path=file_path,
               part_size=part_size,
               parallel_num=parallel_num,
               checkpoint_dir=checkpoint_dir,
           )
       except FileNotFoundError as e:
           print(e)
       except oss_ex.ServiceError as e:
           # OSS サーバーから返されたエラー
           print("\nOSSサーバー側でエラーが発生しました。")
           print(f"HTTPステータス: {getattr(e, 'status_code', 'N/A')}")
           print(f"エラーコード: {getattr(e, 'code', 'N/A')}")
           print(f"メッセージ: {getattr(e, 'message', 'N/A')}")
           print(f"Request ID: {getattr(e, 'request_id', 'N/A')}")
           print(f"Endpoint: {getattr(e, 'request_target', 'N/A')}")
       except oss_ex.BaseError as e:
           # SDK のローカル/シリアル化/デシリアル化/認証情報エラー
           print("\nOSS SDKクライアント側でエラーが発生しました。")
           print(str(e))
       except Exception as e:
           print(f"\n不明なエラーが発生しました: {e}")
   
   
   if __name__ == "__main__":
       main()

3. 移行スクリプトの実行

1. SQL Server 移行スクリプト をダウンロードします。

2. パッケージを展開した後、次のコマンドを実行して、スクリプトのパラメーターを表示します。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -h

   コマンドは次の出力を返します：

   RDSSQLCreateMigrateTasksBatchly.py -k <access_key_id> -s <access_key_secret> -i <rds_instance_id> -e <oss_endpoint> -b <oss_bucket> -d <directory>

   次の表でパラメーターを説明します。

   パラメーター	説明
   <access_key_id>	お使いの Alibaba Cloud アカウントの AccessKey ID です。
   <access_key_secret>	お使いの Alibaba Cloud アカウントの AccessKey Secret です。
   <rds_instance_id>	移行先の RDS インスタンスの ID です。
   <oss_endpoint>	バケットがある OSS リージョンのエンドポイント です。
   <oss_bucket>	バックアップファイルを格納するバケットの名前です。
   <directory>	バックアップファイルを格納する OSS バケット内のディレクトリです。ルートディレクトリの場合は、/ と入力します。

3. 移行スクリプトを実行して、移行を完了します。

   このトピックでは、testdatabucket という名前の OSS バケットの Migrationdata ディレクトリから、指定された条件を満たすすべてのバックアップファイルを、インスタンス ID が rm-2zesz5774ud8s**** の ApsaraDB RDS for SQL Server インスタンスに完全に移行する例を示します。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -k <yourAccessKeyID> -s <yourAccessKeySecret> -i rm-2zesz5774ud8s**** -e oss-cn-beijing.aliyuncs.com -b testdatabucket -d Migrationdata

4. 移行タスクの進捗の確認

ApsaraDB RDS インスタンスの SQL Server バージョンに応じた手順に従ってください。

一般的なエラー

関連する API オペレーション