AnalyticDB:APS データ同期機能を使用した SLS データの同期

ステップ 1：データソースと同期リンクの作成

1. Simple Log Service コンソールにログインします。

2. プロジェクトリストで、ターゲットプロジェクトをクリックします。左側のナビゲーションウィンドウで、 をクリックして [ログストレージ] タブに移動し、ターゲット Logstore の下のタブを展開します。

3. [データ処理] > [エクスポート] をクリックします。次に、[AnalyticDB] の横にある [+] アイコンをクリックします。

4. 表示される [出荷ノート] ダイアログボックスで、[AnalyticDB For MySQL コンソールで作成] を選択します。

   

5. [AnalyticDB For MySQL ログ同期] ページで、[ソースとターゲットの設定]、[ターゲットデータベースとテーブルの設定]、および [同期設定] タブのパラメーターを設定します。

   • [ソースとターゲットの設定] セクションのパラメーターを次の表に示します。

     パラメーター	メトリックの説明
     ジョブ名	データリンクの名前。システムはデータソースのタイプと現在時刻に基づいて名前を自動的に生成します。必要に応じて名前を変更できます。
     Simple Log Service プロジェクト	SLS プロジェクト。
     Simple Log Service Logstore	SLS Logstore。
     移行先 AnalyticDB For MySQL クラスター	AnalyticDB for MySQL クラスターを選択します。
     AnalyticDB For MySQL アカウント	AnalyticDB for MySQL クラスターのデータベースアカウント。
     AnalyticDB For MySQL パスワード	AnalyticDB for MySQL クラスターのデータベースアカウントのパスワード。

   • [ターゲットデータベースとテーブルの設定] セクションのパラメーターを次の表に示します。

     パラメーター	説明
     [データベース名]	AnalyticDB for MySQL クラスター内のデータベースの名前。
     [テーブル名]	AnalyticDB for MySQL クラスター内のデータテーブルの名前。
     [ソースデータプレビュー]	クリックして最新の LogStore を 10 件表示する をクリックして、ソース SLS から最新 10 件のデータレコードを表示します。
     [スキーマフィールドマッピング]	AnalyticDB for MySQL は、クラスターテーブルのフィールドに対して [ターゲットテーブルフィールド] と [ソースフィールド] を自動的に入力します。[ターゲットテーブルフィールド] と [ソースフィールド] の間のマッピングが正しくない場合は、手動で修正します。 たとえば、AnalyticDB for MySQL クラスターのデータテーブルのフィールド名が name で、SLS のソースデータフィールド名が user_name の場合、システムは [ソースフィールド] と [ターゲットテーブルフィールド] に name を自動的に入力します。この場合、[ソースフィールド] を user_name に手動で変更する必要があります。

   • [同期設定] セクションのパラメーターを次の表に示します。

     パラメーター	説明
     開始オフセット	同期タスクが開始されると、指定された時点から SLS データを消費します。 たとえば、[開始オフセット] を [2024-04-09 13:10] に設定すると、システムは 2024 年 4 月 9 日 13:10 以降の最初のレコードからデータの消費を開始します。
     ダーティデータ処理モード	データ同期中に、ターゲットテーブルのフィールドのデータ型がソース SLS の実際のデータのデータ型と一致しない場合、同期は失敗します。たとえば、ソースデータが abc で、ターゲットフィールドの型が int の場合、データを変換できないため同期エラーが発生します。 ダーティデータ処理モードには、次の値が有効です： [同期を停止] (デフォルト)：データ同期が停止します。ターゲットテーブルのフィールドタイプを変更するか、ダーティデータ処理モードを変更してから、同期タスクを再開する必要があります。 [NULL として処理]：ダーティデータは NULL 値としてターゲットテーブルに書き込まれ、元のダーティデータは破棄されます。 たとえば、SLS データのある行に 3 つのフィールド (col1、col2、col3) があるとします。col2 フィールドがダーティデータの場合、col2 フィールドのデータは NULL 値に変換されてテーブルに書き込まれます。col1 および col3 フィールドのデータは正常に書き込まれます。
     UNIX タイムスタンプを日時に変換	ソース SLS フィールドが UNIX タイムスタンプ (例：1710604800) で、ターゲットフィールドの型が DATETIME または TIMESTAMP の場合、変換のためにこの機能を有効にする必要があります。この機能を有効にした後、SLS タイムスタンプデータの精度に基づいて 秒精度のタイムスタンプ、ミリ秒精度のタイムスタンプ、または マイクロ秒精度のタイムスタンプ を選択できます。
     ジョブ リソース グループ	増分同期タスクを実行するためのジョブ固有のリソースグループを選択します。 重要 このパラメーターは、AnalyticDB for MySQL クラスターが Enterprise Edition、Basic Edition、または Data Lakehouse Edition の場合にのみ必要です。
     [増分同期用の ACU]	増分同期タスクを実行するために使用される初期 ACU 数。値は 1 ACU に固定されています。値の範囲は 1 からジョブ固有のリソースグループの最大リソースまでです。 同期リンクが作成された後、AnalyticDB for MySQL はビジネスのワークロードに基づいて ACU の数を自動的にスケーリングします。ACU の数は最大 64 までスケールアップ、または 1 までスケールダウンできます。 重要 このパラメーターは、AnalyticDB for MySQL クラスターが Enterprise Edition、Basic Edition、または Data Lakehouse Edition の場合にのみ必要です。

6. パラメーターを設定した後、[送信] をクリックします。

   システムは AnalyticDB for MySQL に SLS データソースとデータリンクを自動的に作成し、AnalyticDB for MySQL コンソールの Simple Log Service / Kafka データ同期 ページにリダイレクトします。

ステップ 2：同期タスクの開始

1. ターゲットデータリンクの [操作] 列で、[開始] をクリックします。

2. タスクが開始された後、右上隅の [クエリ] をクリックします。ステータスが [実行中] に変わると、同期タスクが開始されています。

ステップ 3：同期タスクの管理

[操作] 列で次の操作を実行できます：

ステップ 1：(オプション) RAM 権限付与の設定

別の Alibaba Cloud アカウントから AnalyticDB for MySQL に SLS データを同期する場合、ソースアカウントで RAM ロールを作成し、その RAM ロールに詳細な権限を付与し、RAM ロールの信頼ポリシーを変更する必要があります。

1. RAM ロールを作成します。詳細については、「信頼できる Alibaba Cloud アカウントの RAM ロールの作成」をご参照ください。

   説明

   [プリンシパル名] パラメーターを設定する際、[他のアカウント] を選択し、AnalyticDB for MySQL クラスターが属する Alibaba Cloud アカウントの ID を入力します。アカウントセンターにログインし、[セキュリティ設定] ページで [アカウント ID] を確認できます。

2. 詳細な権限付与を使用して、AliyunAnalyticDBAccessingLogRolePolicy 権限を RAM ロールに付与します。

3. RAM ロールの信頼ポリシーを変更して、指定された Alibaba Cloud アカウントに属する AnalyticDB for MySQL クラスターがこの RAM ロールを引き受けることを許可します。

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "RAM": [
               "acs:ram::<Alibaba Cloud account ID>:root"
           ],
           "Service": [
               "<Alibaba Cloud account ID>@ads.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

   説明

   Alibaba Cloud アカウント ID は、ステップ 1 で指定した AnalyticDB for MySQL クラスターが属する Alibaba Cloud アカウントの ID です。ポリシーを設定する際は、山括弧 (<>) を含めないでください。

ステップ 2：データソースの作成

1. AnalyticDB for MySQL コンソールにログインします。コンソールの左上隅でリージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。管理したいクラスターを見つけ、クラスター ID をクリックします。

2. 左側のナビゲーションウィンドウで、データアクセス > データソースの管理を選択します。

3. 右上隅で、データソースの新規作成 をクリックします。

4. データソースの新規作成 ページで、パラメーターを設定します。次の表にパラメーターを示します。

   パラメーター	説明
   [データソースタイプ]	[SLS] を選択します。
   データソース名	システムはデータソースのタイプと現在時刻に基づいて名前を自動的に生成します。必要に応じて名前を変更できます。
   [データソースの説明]	アプリケーションシナリオやビジネス上の制約など、データソースの説明。
   クラウドプロバイダー	[Alibaba Cloud インスタンス] のみがサポートされています。
   [Simple Log Service プロジェクトのリージョン]	SLS プロジェクトが存在するリージョン。 説明 AnalyticDB for MySQL クラスターが存在するリージョンのみを選択できます。
   [Alibaba Cloud アカウント間]	AnalyticDB for MySQL クラスターは、同じ Alibaba Cloud アカウントまたは別の Alibaba Cloud アカウント (クロスアカウント) から SLS データを同期できます。 [いいえ]：現在の Alibaba Cloud アカウントから AnalyticDB for MySQL クラスターに SLS データを同期します。 [はい]：別の Alibaba Cloud アカウントから AnalyticDB for MySQL クラスターに SLS データを同期します。[はい] を選択した場合は、RAM 権限付与を設定し、[Alibaba Cloud アカウント] と [RAM ロール] を入力する必要があります。詳細については、「RAM 権限付与の設定」をご参照ください。 説明 [Alibaba Cloud アカウント]：SLS プロジェクトが属する Alibaba Cloud アカウントの ID。 [RAM ロール]：SLS プロジェクトが属する Alibaba Cloud アカウントに属する RAM ロール。これは、「RAM 権限付与の設定」のステップ 1 で作成した RAM ロールです。
   [Simple Log Service プロジェクト]	ソース SLS プロジェクト。
   [Simple Log Service Logstore]	ソース SLS Logstore。

5. パラメーターを設定した後、[作成] をクリックします。

ステップ 3：同期リンクの作成

1. 左側のナビゲーションウィンドウで、データアクセス > Simple Log Service / Kafka データ同期を選択します。

2. 右上隅で、同期リンクの新規作成 をクリックします。

3. 同期リンクの新規作成 ページで、[ソースとターゲットの設定]、[ターゲットデータベースとテーブルの設定]、および [同期設定] タブのパラメーターを設定します。

   • 次の表では、[送信元と送信先の設定] セクションのパラメーターについて説明します。

     パラメーター	説明
     [ジョブ名]	データリンクの名前。システムはデータソースのタイプと現在時刻に基づいて名前を自動的に生成します。必要に応じて名前を変更できます。
     データソース	既存の SLS データソースを選択するか、データソースを作成します。
     宛先タイプ	Enterprise Edition、Basic Edition、および Data Lakehouse Edition クラスターの場合、数倉-ADB倉ストレージ を選択します。 このパラメーターは、Data Warehouse Edition クラスターには必要ありません。
     [AnalyticDB For MySQL アカウント]	AnalyticDB for MySQL クラスターのデータベースアカウント。
     AnalyticDB For MySQL パスワード	AnalyticDB for MySQL クラスターのデータベースアカウントのパスワード。

   • [ターゲットデータベースとテーブルの設定] セクションのパラメーターを次の表に示します。

     パラメーター	説明
     [データベース名]	AnalyticDB for MySQL クラスター内のデータベースの名前。
     [テーブル名]	AnalyticDB for MySQL クラスター内のデータテーブルの名前。
     [ソースデータプレビュー]	クリックして最新の LogStore を 10 件表示する をクリックして、ソース SLS から最新 10 件のデータレコードを表示します。
     [スキーマフィールドマッピング]	AnalyticDB for MySQL は、クラスターテーブルのフィールドに対して [ターゲットテーブルフィールド] と [ソースフィールド] を自動的に入力します。[ターゲットテーブルフィールド] と [ソースフィールド] の間のマッピングが正しくない場合は、手動で修正します。 たとえば、AnalyticDB for MySQL クラスターのデータテーブルのフィールド名が name で、SLS のソースデータフィールド名が user_name の場合、システムは [ソースフィールド] と [ターゲットテーブルフィールド] に name を自動的に入力します。この場合、[ソースフィールド] を user_name に手動で変更する必要があります。

   • [同期設定] セクションのパラメーターを次の表に示します。

     パラメーター	説明
     開始オフセット	同期タスクが開始されると、指定された時点から SLS データを消費します。 たとえば、[開始オフセット] を [2024-04-09 13:10] に設定すると、システムは 2024 年 4 月 9 日 13:10 以降の最初のレコードからデータの消費を開始します。
     [ダーティデータ処理モード]	データ同期中に、ターゲットテーブルのフィールドのデータ型がソース SLS の実際のデータのデータ型と一致しない場合、同期は失敗します。たとえば、ソースデータが abc で、ターゲットフィールドの型が int の場合、データを変換できないため同期エラーが発生します。 ダーティデータ処理モードには、次の値が有効です： [同期を停止] (デフォルト)：データ同期が停止します。ターゲットテーブルのフィールドタイプを変更するか、ダーティデータ処理モードを変更してから、同期タスクを再開する必要があります。 [NULL として処理]：ダーティデータは NULL 値としてターゲットテーブルに書き込まれ、元のダーティデータは破棄されます。 たとえば、SLS データのある行に 3 つのフィールド (col1、col2、col3) があるとします。col2 フィールドがダーティデータの場合、col2 フィールドのデータは NULL 値に変換されてテーブルに書き込まれます。col1 および col3 フィールドのデータは正常に書き込まれます。
     [UNIX タイムスタンプを Datetime に変換]	ソース SLS フィールドが UNIX タイムスタンプ (例：1710604800) で、ターゲットフィールドの型が DATETIME または TIMESTAMP の場合、変換のためにこの機能を有効にする必要があります。この機能を有効にした後、SLS タイムスタンプデータの精度に基づいて 秒精度のタイムスタンプ、ミリ秒精度のタイムスタンプ、または マイクロ秒精度のタイムスタンプ を選択できます。

4. パラメーターを設定した後、[送信] をクリックします。

ステップ 4：データ同期タスクの開始

1. データ同期ページで、作成した同期タスクを見つけ、[操作] 列の [開始] をクリックします。

2. ステータスが [実行中] に変わると、同期タスクが開始されています。

ステップ 5：データソースの管理

データ同期ページで、[操作] 列で次の操作を実行できます。