DataWorks:ECSインスタンス上の自己管理型MySQLデータベースからMaxComputeへのデータ移行

手順

1. DataWorksにMySQLデータソースを追加します。

   1. [データソース] ページに移動します。

      1. DataWorks コンソールにログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、[詳細] > [管理センター] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[入力管理センター] をクリックします。

      2. [SettingCenter] ページの左側のナビゲーションウィンドウで、[Data Sources] > [Data Sources を選択します。

   2. [データソース] ページで、データソースの追加. をクリックします。

   3. では、データソースの追加ダイアログボックスで、MySQL. を選択します。

   4. [MySQLデータソースの追加] ページで、パラメーターを設定します。 詳細については、「MySQL データソース」をご参照ください。

      この例では、Configuration ModeパラメーターをConnection String Modeに設定します。 [接続アドレス] フィールドに、ECSインスタンスのプライベートIPアドレスとMySQLデータベースのデフォルトのポート番号3306を入力します。

      説明

      DataWorksは、VPC内の自己管理型MySQLデータベースの接続性をテストすることはできません。 したがって、接続性テストが失敗するのは正常です。

   5. 目的のリソースグループを見つけて、ネットワーク接続のテスト. をクリックします。

      Data Integrationの排他的リソースグループを使用して、データ同期タスクを実行できます。 データ同期タスクは、各実行中に1つのリソースグループでのみ実行できます。 データ同期タスクで複数のリソースグループを使用でき、すべてのリソースグループでデータ同期タスクを期待どおりに実行する場合は、選択した各リソースグループとデータソース間のネットワーク接続をテストする必要があります。 詳細については、「ネットワーク接続ソリューション」をご参照ください。

   6. 接続テストが成功した場合は、完全な作成. をクリックします。

2. MaxComputeテーブルを作成します。

   MySQLデータベースからテストデータを受信するには、DataWorksでテーブルを作成する必要があります。

   1. 左上隅のアイコンをクリックしとすべての制品 > データ开発とタスク操作 > DataStudio. を選択します。

   2. ワークフローを作成します。 詳細については、「自動トリガーワークフローの作成」をご参照ください。

   3. 作成したワークフローを右クリックし、テーブルの作成 > MaxCompute > テーブル. を選択します。

   4. MaxComputeテーブルの名前を入力します。 この例では、Nameパラメーターをgood_saleに設定します。これは、MySQLデータベースのテーブルの名前と同じです。 [DDL] をクリックし、テーブル作成ステートメントを入力し、[テーブルスキーマの生成] をクリックします。

      この例では、次のテーブル作成ステートメントを入力します。 データ型変換に注意してください。

      CREATE TABLE IF NOT EXISTS good_sale(
         create_time string,
         category STRING,
         brand STRING,
         buyer_id STRING,
         trans_num BIGINT,
         trans_amount DOUBLE,
         click_cnt BIGINT
         );

   5. [表示名] パラメーターを設定し、[本番環境にコミット] をクリックします。 good_saleという名前のMaxComputeテーブルが作成されます。

3. データ同期タスクを作成および設定します。

   1. 作成したワークフローを右クリックし、ノードの作成 > データ統合 > オフライン同期データ同期タスクを作成します。

   2. 作成したMySQLデータソースをソースとして選択し、追加したMaxComputeデータソースを宛先として選択します。 [コードエディターに切り替え] アイコンをクリックして、コードエディターに切り替えます。

      目的のソーステーブルを選択できない場合、またはコードエディターに切り替えるときにエラーが返された場合は、問題を無視してください。

   3. をクリックし、リソースグループの設定右側のナビゲーションウィンドウのタブをクリックし、購入した排他的なリソースグループを選択します。

      タスクの実行に使用するData Integrationの排他的リソースグループを選択しないと、タスクの実行に失敗する可能性があります。

   4. データ同期タスクに次のコードを入力します。

      {
          "type": "job",
          "steps": [
              {
                  "stepType": "mysql",
                  "parameter": {
                      "column": [// The names of the columns.
                          "create_time",
                          "category",
                          "brand",
                          "buyer_id",
                          "trans_num",
                          "trans_amount",
                          "click_cnt"
                      ],
                      "connection": [
                          {
                              "datasource": "shuai",// The source.
                              "table": [
                                  "good_sale"// The name of the table in the source database. The name must be enclosed in brackets []. 
                              ]
                          }
                      ],
                      "where": "",
                      "splitPk": "",
                      "encoding": "UTF-8"
                  },
                  "name": "Reader",
                  "category": "reader"
              },
              {
                  "stepType": "odps",
                  "parameter": {
                      "partition": "",
                      "truncate": true,
                      "datasource": "odps_source",// The name of the MaxCompute data source.
                      "column": [// The columns in the destination table.
                          "create_time",
                          "category",
                          "brand",
                          "buyer_id",
                          "trans_num",
                          "trans_amount",
                          "click_cnt"
                      ],
                      "emptyAsNull": false,
                      "table": "good_sale"// The name of the destination table.
                  },
                  "name": "Writer",
                  "category": "writer"
              }
          ],
          "version": "2.0",
          "order": {
              "hops": [
                  {
                      "from": "Reader",
                      "to": "Writer"
                  }
              ]
          },
          "setting": {
              "errorLimit": {
                  "record": "0"
              },
              "speed": {
                  "throttle": false,
                  "concurrent": 2
              }
          }
      }

   5. 実行アイコンをクリックします。 ページ下部の [ランタイムログ] タブをクリックして、テストデータがMaxComputeに同期されているかどうかを確認できます。