:MySQL データベースからのデータインポート

制限事項

• この機能は、中国 (杭州)、中国 (上海)、中国 (青島)、中国 (北京)、中国 (張家口)、中国 (フフホト)、中国 (ウランチャブ)、中国 (成都)、中国 (深セン)、中国 (河源)、中国 (広州)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、フィリピン (マニラ)、タイ (バンコク)、日本 (東京)、韓国 (ソウル)、イギリス (ロンドン)、ドイツ (フランクフルト)、米国 (バージニア)、米国 (シリコンバレー) の各リージョンでのみサポートされています。

• AnalyticDB for MySQL ソースからデータをインポートする場合、インポート前に JSON フィールドを VARCHAR 型に変換する必要があります。たとえば、detail という名前のフィールドが JSON データ型の場合、cast(detail as VARCHAR) as detail を使用して変換を実行します。CAST 関数の詳細については、「CAST 関数」をご参照ください。

データインポート

1. Simple Log Service コンソールにログインします。

2. [プロジェクト] セクションで、目的のプロジェクトをクリックします。

   

3. ログ管理 > ログストア ペインで、対象の Logstore の隣にある [>] をクリックします。カーソルを データのインポート > データのインポート に合わせ、[+] をクリックします。

4. [データのインポート] ウィザードで、[MySQL - データインポート] を検索してクリックします。

5. データインポートジョブを設定します。

   1. [データソースの設定] ステップで、次のパラメーターを設定します。

      基本パラメーター

      パラメーター	説明
      タスク名	データインポートジョブの一意の名前です。
      表示名	ジョブの表示名です。
      ジョブの説明	データインポートジョブの説明です。
      VPC エンドポイントの使用	VPC 内の RDS インスタンス [VPC エンドポイントの使用] と [ApsaraDB RDS インスタンス] を選択し、次のパラメーターを設定します。 [VPC ベースのインスタンス ID]：ApsaraDB RDS for MySQL インスタンスが配置されている VPC の ID です。 [RDS インスタンス ID]：ApsaraDB RDS for MySQL インスタンスの ID です。このパラメーターをインスタンスの `VpcCloudInstanceId` に設定する必要があります。DescribeDBInstanceAttribute 操作を呼び出して `VpcCloudInstanceId` の値を取得できます。 ECS 上の自己管理データベース [VPC エンドポイントの使用] と [ECS 上の自己管理型データベース] を選択し、次のパラメーターを設定します。 [VPC ベースのインスタンス ID]：ECS インスタンスが配置されている VPC の ID です。 [ECS インスタンスの IP アドレス]：ECS インスタンスのプライベート IP アドレスです。 パブリックデータベース [VPC エンドポイントの使用] チェックボックスをオフにし、次のパラメーターを設定します。 [データベースのパブリック IP アドレスまたはドメイン名]：MySQL データベースのパブリック IP アドレスまたはドメイン名です。
      MySQL ポート	MySQL データベースのサービスポートです。デフォルト値：3306。
      ユーザー名	MySQL データベースへのログインに使用するユーザー名です。 このアカウントには読み取り専用権限を付与することを推奨します。
      Password	アカウントのパスワードです。
      データベース	MySQL データベースの名前です。
      照会	SELECT 文または SHOW 文を使用できます。SHOW 文を使用する場合、詳細設定で [ページサイズ] パラメーターを設定することはできません。 疑問符 (?) をプレースホルダーとして使用でき、[CheckPoint フィールド] と連携して機能します。たとえば、クエリ文が SELECT * FROM employees WHERE id > ? の場合、[CheckPoint フィールド] を id に、[CheckPoint フィールドの開始値] を 0 に設定できます。各インポートジョブが完了すると、システムは最後のレコードの ID をチェックポイントとして保存します。次回ジョブが実行されると、クエリ文の疑問符 (?) がこのチェックポイントの値に置き換えられます。

      詳細パラメーター

      パラメーター	説明
      インポートタスクごとにインポートする行数の上限	各スケジュールされたジョブでインポートする最大行数です。値が 0 の場合は無制限を意味します。デフォルト：0。
      接続タイムアウト設定	MySQL データベースへの接続タイムアウト期間です。デフォルト値：3,000 ms。
      クエリタイムアウト設定	MySQL データベースのクエリタイムアウト期間です。デフォルト値：5,000 ms。
      ページサイズ	値が 0 の場合、ページネーションは無効になります。値が 0 より大きい場合、システムは SELECT 文に limit pageSize offset {checkpoint} を追加し、単一のジョブ内でデータを複数ページに分けてインポートできるようにします。
      時間	MySQL データ内で時間を表すフィールドです (例：`create_time` や `update_time`)。SLS は、このフィールドの値をインポートされたデータのタイムスタンプとして使用します。
      時刻フィールドの形式	時間フィールドのフォーマットです。`yyyy-MM-dd HH:mm:ss` のような Java ベースの時間フォーマットがサポートされています。詳細については、「時間フォーマット」をご参照ください。
      タイムゾーン	時間フィールドのタイムゾーンです。
      CheckPoint フィールド	次のデータインポートの開始点を指定するためにチェックポイントフィールドを選択します。たとえば、クエリ文が select * from t where id > ? であり、id が自動インクリメントフィールドである場合、id をチェックポイントフィールドとして設定できます。 `create_time` や `update_time` などのフィールドも使用できます。 説明 SQL クエリで時間範囲を指定しない場合は、増分データをインポートし、データの重複を防ぐためにチェックポイントフィールドを設定することを推奨します。
      CheckPoint フィールドの開始値	チェックポイントフィールドの初期値です。
      追加フィールド	インポートされたデータに定数フィールドを追加します。フォーマットは map[string]string です。たとえば、クエリ文が select a, b from t; の場合、システムはデフォルトでフィールド a と b をインポートします。`{"k1": "v1", "k2": "v2"}` のように、SLS にインポートする他のフィールドを追加できます。

   2. [プレビュー] をクリックしてインポート結果を確認します。結果を確認したら、[次へ] をクリックします。

   3. [スケジュール間隔の指定] ステップで、次のパラメーターを設定します。

      パラメーター	説明
      インポート間隔	MySQL データベースから SLS にデータをインポートする間隔です。
      [今すぐ実行]	[今すぐ実行] を選択すると、インポートジョブが一度だけ実行されます。

   4. 設定が完了したら、[次へ] をクリックします。

6. インデックスを作成し、データをプレビューします。その後、[次へ] をクリックします。デフォルトでは、SLS で全文インデックスが有効になっています。収集したログに対して手動でフィールドインデックスを作成するか、[インデックスの自動生成] をクリックすることもできます。その後、SLS がフィールドインデックスを生成します。詳細については、「インデックスの作成」をご参照ください。

   重要

   ログ内のすべてのフィールドをクエリする場合は、全文インデックスの使用を推奨します。特定のフィールドのみをクエリする場合は、フィールドインデックスの使用を推奨します。これにより、インデックストラフィックを削減できます。フィールドを分析する場合は、フィールドインデックスを作成する必要があります。分析のためには、クエリ文に SELECT 文を含める必要があります。

7. インデックスが有効になるまで約 1 分待つ必要があります。その後、[生ログ] タブで収集されたログを表示できます。ログのクエリと分析方法の詳細については、「クエリと分析のクイックスタート」をご参照ください。

インポートジョブと統計レポートの表示

データインポートジョブを作成した後、コンソールでその設定と統計レポートを表示できます。

1. [プロジェクト] セクションで、対象のプロジェクトをクリックします。

2. 左側のナビゲーションウィンドウで、データのインポート > データのインポート を選択し、対象のジョブ名をクリックします。

3. [インポート設定の概要] ページで、インポートジョブの基本情報と統計レポートを表示します。

関連操作

[インポート設定の概要] ページでは、次の操作も実行できます。

• ジョブの変更

  [設定の変更] をクリックしてジョブ設定を変更します。パラメーターの詳細については、「データインポート」をご参照ください。

• ジョブの削除

  [設定の削除] をクリックしてデータインポートジョブを削除します。

  警告

  この操作は元に戻せません。注意して実行してください。