MaxCompute から Tablestore にデータを移行する方法 - MaxCompute

このトピックでは、DataWorks の Data Integration と Data Development を使用して、MaxCompute から Tablestore (OTS) にデータを移行する方法について説明します。

開始する前に、次の準備を完了してください:

MaxCompute が有効化されている。
DataWorks が有効化されている。
DataWorks でビジネスフローが作成されている。詳細については、「ビジネスフローの作成」をご参照ください。

手順

説明

この例では、DataWorks の基本モードを使用します。ワークスペースを作成する際、[Join The Public Preview Of DataStudio] オプションはデフォルトで無効になっています。この例は、パブリックプレビュー中のワークスペースには適用されません。

DataWorks でテーブルを作成します。
1. DataWorks コンソールにログインします。
2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。
3. 対象のワークスペースの [操作] 列で、[クイックアクセス] > [データ開発] をクリックします。
4. ビジネスフローを右クリックし、[テーブルの作成] > [MaxCompute] > [テーブル] を選択します。
5. [テーブルの作成] ページで、[エンジンタイプ] を選択し、テーブルの [名前] を入力します。
6. テーブル編集ページで、左上隅にある [DDL モード] をクリックします。
7. [DDL] ダイアログボックスで、次のステートメントを入力し、[テーブルスキーマの生成] をクリックしてテーブルを作成します。
```
CREATE TABLE Transs (
  name STRING,
  id BIGINT,
  gender STRING 
);
```
8. 左上隅にある [本番環境に送信] ボタンをクリックします。
Transs テーブルにデータをインポートします。
1. [データ開発] ページで、アイコンをクリックします。
2. [データインポートウィザード] ダイアログボックスで、3 文字以上入力して対象のテーブルを検索し、[次へ] をクリックします。
3. データインポートメソッドとして、[ローカルデータのアップロード] を選択します。[ファイルの選択] の横にある [参照...] をクリックし、ローカルデータファイルを選択して、インポート設定を構成します。
  次のサンプルデータが使用されます。
```
qwe,145,F
asd,256,F
xzc,345,M
rgth,234,F
ert,456,F
dfg,12,M
tyj,4,M
bfg,245,M
nrtjeryj,15,F
rwh,2344,M
trh,387,F
srjeyj,67,M
saerh,567,M
```
4. [次へ] をクリックします。
5. ソースファイルのフィールドを宛先テーブルのフィールドにマッピングするメソッドを選択します。
6. [データのインポート] をクリックします。
Tablestore コンソールでテーブルを作成します。
1. Tablestore コンソールにログインし、インスタンスを作成します。詳細については、「インスタンスの作成」をご参照ください。
2. trans という名前のデータテーブルを作成します。詳細については、「データテーブルの作成」をご参照ください。
  プライマリキーを name と id に設定します。これらのキーは、このトピックの後半で提供されるサンプルコードのキーと一致する必要があります。
DataWorks でデータソースを追加します。
1. DataWorks コンソールにログインします。
2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。
3. 対象のワークスペースの [操作] 列で、[クイックアクセス] > [データ統合] をクリックします。
4. 左側のナビゲーションウィンドウで [データソース] をクリックして、[データソースリスト] ページを開きます。
5. [データソースの追加] をクリックし、データソースタイプとして [MaxCompute] を選択します。
6. [MaxCompute データソースの追加] ダイアログボックスで、パラメーターを設定し、[OK] をクリックします。詳細については、「新しいデータ開発: MaxCompute 計算リソースのアタッチ」をご参照ください。
7. Tablestore (OTS) データソースを追加します。詳細については、「OTS データソースの設定」をご参照ください。

MaxCompute (ODPS) Reader と Tablestore (OTS) Writer を設定します。

[データ開発] ページで、管理するビジネスフローを右クリックし、[ノードの作成] > [データ統合] > [オフライン同期] を選択します。
[ノードの作成] ダイアログボックスで、[ノード名] を入力し、[確認] をクリックします。
上部のメニューバーで、アイコンをクリックします。
コードエディタで、上部のメニューバーにあるアイコンをクリックします。
[テンプレートのインポート] ダイアログボックスで、[ソースタイプ]、[データソース]、[宛先タイプ]、および [データソース] を選択します。次に、[OK] をクリックします。

JSON コードを修正した後、アイコンをクリックして実行します。

以下はサンプルコードです。datasource データソースと table 名が正しいことを確認してください。

{
    "type": "job",
    "steps": [
        {
            "stepType": "odps",
            "parameter": {
                "partition": [],
                "datasource": "odps_first",
                "column": [
                    "name",
                    "id",
                    "gender"
                ],
                "table": "transs"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "transs",
                "column": [
                    {
                        "name": "gender",
                        "type": "STRING"
                    }
                ],
                "writeMode": "UpdateRow",
                "table": "trans",
                "primaryKey": [
                    {
                        "name": "name",
                        "type": "STRING"
                    },
                    {
                        "name": "id",
                        "type": "INT"
                    }
                ]
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": false,
            "concurrent": 1,
            "dmu": 1
        }
    }
}

Tablestore コンソールで新しいテーブルのデータを表示します。
1. Tablestore コンソールにログインします。
2. 左側のナビゲーションウィンドウで、[すべてのインスタンス] をクリックします。
3. インスタンス名をクリックして [インスタンス管理] ページに移動します。[データテーブルリスト] エリアで、目的のデータテーブルの名前をクリックします。
4. [データ管理] タブをクリックして、新しいテーブルのデータを表示します。