DataWorks を使用した MaxCompute から Tablestore へのデータ移行 - MaxCompute

このトピックでは、DataWorks のデータ統合およびデータ開発機能を使用して、MaxCompute から Tablestore にデータを移行する方法について説明します。

操作手順

サービスの有効化
1. MaxCompute の有効化
2. DataWorks の有効化
DataWorks でのテーブル作成
1. DataWorks コンソールにログインし、左上のコーナーでリージョンを選択します。
2. 左側のナビゲーションウィンドウで、ワークスペース をクリックします。
3. ワークスペース ページで、対象のワークスペースを見つけ、アクション 列で ショートカット > [DataStudio] を選択します。
4. [DataStudio] ページで、MaxCompute SQL ノードを作成します。次に、以下の文を実行して、transs という名前のテーブルを作成します。
```
CREATE TABLE transs
(name    STRING,
id    STRING,
gender    STRING);
```
transs テーブルへのデータインポート
1. 次のサンプルデータを CSV ファイルとしてコンピューターに保存します。
```
qwe,145,F
asd,256,F
xzc,345,M
rgth,234,F
ert,456,F
dfg,12,M
tyj,4,M
bfg,245,M
nrtjeryj,15,F
rwh,2344,M
trh,387,F
srjeyj,67,M
saerh,567,M
```
2. 左側のナビゲーションウィンドウで、データ統合 > データのアップロードとダウンロード を選択します。
3. 入力 データのアップロードとダウンロード をクリックします。
4. 左側のナビゲーションウィンドウで、アップロードアイコンをクリックし、次に [Upload Data] をクリックします。
Tablestore コンソールでのテーブル作成
1. Tablestore コンソールにログインし、インスタンスを作成します。
2. trans という名前のデータテーブルを作成します。詳細については、「データテーブルの作成」をご参照ください。
  プライマリキーを name と id に設定します。
DataWorks への MaxCompute データソースの追加
1. DataWorks コンソールにログインし、左上のコーナーでリージョンを選択します。
2. 左側のナビゲーションウィンドウで、ワークスペース をクリックします。
3. ワークスペース ページで、対象のワークスペースの名前をクリックします。
4. ワークスペースの詳細 ページで、左側のナビゲーションウィンドウにある データソース をクリックします。
5. [Data Source] タブで [Add Data Source] をクリックし、[MaxCompute] を選択します。
6. [Add MaxCompute Data Source] ページで、[Basic Information] を設定します。
  詳細については、「MaxCompute データソースの設定」をご参照ください。
Tablestore データソースを追加します。詳細については、「Tablestore データソースの設定」をご参照ください。

MaxCompute (ODPS) Reader と Tablestore (OTS) Writer の設定

DataWorks コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、データ開発と О&М > データ開発 を選択します。
ワークスペースを選択する セクションで、[Go To DataStudio] をクリックします。
[DataStudio] の左側のペインで、アイコンをクリックし、[Create Node] > [Data Integration] > [Batch Synchronization] を選択します。
- データソースとして [Tablestore] を選択します。
- データ宛先には、[MaxCompute (ODPS)] を選択します。

ノード設定ページで、次のパラメーターを設定します。

データソース-ソース：追加した MaxCompute データソースを選択します。
[Data Source]-[Destination]：追加した Tablestore データソースを選択します。
[Data Source] > [Table]：OTS 内の既存のテーブルを選択します。
宛先-テーブル: 作成した Tablestore テーブルを選択します。
[Runtime Resource]：作成した専用リソースグループを選択します。
その他のパラメーターはデフォルト値のままにします。

または、設定セクションの上にあるアイコンをクリックしてコードエディタに切り替え、スクリプトを使用してノードを設定することもできます。次のコードは一例です：

{
    "type": "job",
    "steps": [
        {
            "stepType": "odps",
            "parameter": {
                "partition": [],
                "datasource": "odps_first",
                "column": [
                    "name",
                    "id",
                    "gender"
                ],
                "table": "transs"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "transs",
                "column": [
                    {
                        "name": "gender",
                        "type": "STRING"
                    }
                ],
                "writeMode": "UpdateRow",
                "table": "trans",
                "primaryKey": [
                    {
                        "name": "name",
                        "type": "STRING"
                    },
                    {
                        "name": "id",
                        "type": "INT"
                    }
                ]
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": false,
            "concurrent": 1,
            "dmu": 1
        }
    }
}

Tablestore コンソールでのデータ表示
1. Tablestore コンソールにログインします。左上のコーナーで、リージョンを選択します。
2. 左側のナビゲーションウィンドウで、全てのインスタンス を選択します。
3. 全てのインスタンス ページで、インスタンス名をクリックして インスタンスの管理 ページに移動します。
4. インスタンスの管理 ページで、インスタンスの詳細 タブをクリックします。
5. インスタンスの詳細 タブの テーブルリスト エリアで、表示したいデータテーブルの名前をクリックします。
6. データテーブル管理ページで、データのクエリ タブをクリックしてテーブル内のデータを表示します。