DataWorks を使用して MaxCompute から OSS へデータを移行 - MaxCompute

このトピックでは、DataWorks のデータ同期機能を用いて、MaxCompute から Object Storage Service (OSS) へデータを移行する方法について説明します。

操作手順

サービスの有効化
MaxCompute、DataWorks、OSS は同一リージョンに配置する必要があります。
1. MaxCompute の有効化を行います。
2. DataWorks の有効化とMaxCompute 計算リソースのアタッチを行います。
DataWorks でテーブルを作成
1. DataWorks コンソールにログインし、左上隅のリージョンを選択します。
2. 左側ナビゲーションウィンドウで、ワークスペースをクリックします。
3. ワークスペースページで対象のワークスペースを見つけ、アクション列からショートカット > DataStudioを選択します。
4. DataStudioページで、MaxCompute SQL ノードを作成します。以下の文を用いて、transs という名前のテーブルを作成します。
```
CREATE TABLE transs
(name    STRING,
id    STRING,
gender    STRING);
```
transsテーブルへのデータのインポート
1. サンプル CSV ファイルをコンピューターにダウンロードし、demo_data.csv として保存します。
2. 左側ナビゲーションウィンドウで、データ統合 > データのアップロードとダウンロードを選択します。
3. 「入力」をクリックし、「データのアップロードとダウンロード」をクリックします。
4. 左側ナビゲーションウィンドウでアップロードアイコンをクリックし、データのアップロードをクリックします。
  ダウンロードしたデータを MaxCompute の テーブル transs にアップロードします。
OSS コンソールでテーブルを作成
1. Object Storage Service (OSS) コンソールにログインします。
2. 左側ナビゲーションウィンドウで、バケットをクリックします。
3. バケットページで、バケットの作成をクリックします。
4. コンピューター上で空の qwee.csv ファイルを作成し、MaxCompute からのデータ受信先として OSS にアップロードします。qwee.csv ファイル内のフィールド名が、transs テーブルのフィールド名と一致していることを確認してください。
  ファイルのアップロードに関する詳細については、「オブジェクトのアップロード」をご参照ください。
DataWorks に MaxCompute データソースを追加
1. DataWorks コンソールにログインし、左上隅のリージョンを選択します。
2. 左側ナビゲーションウィンドウで、ワークスペースをクリックします。
3. ワークスペースページで、対象のワークスペース名をクリックします。
4. ワークスペースの詳細ページで、左側ナビゲーションウィンドウからデータソースをクリックします。
5. [データソース] タブで、[データソースの追加] をクリックし、[MaxCompute] を選択します。
6. MaxCompute データソースの追加ページで、基本情報を設定できます。
  詳細については、「MaxCompute データソースの構成」をご参照ください。
DataWorks に OSS データソースを追加
詳細については、「OSS データソースの構成」をご参照ください。
MaxCompute（ODPS）リーダーおよび OSS ライターの構成
1. DataWorks コンソールにログインし、左上隅のリージョンを選択します。
2. 左側ナビゲーションウィンドウで、データ開発と О&М > データ開発を選択します。
3. ワークスペースを選択するセクションで、DataStudio へ移動をクリックします。
4. Data Studio の左ペインで、アイコンをクリックし、ノードの作成 > データ統合 > バッチ同期を選択します。
  - データソースとして、MaxCompute（ODPS） を選択します。
  - データ送信先として、OSS を選択します。
5. ノード構成ページで、パラメーターを設定します。
  - データソース > ソース：新しく追加した MaxCompute データソースを選択します。
  - データソース > 送信先：新しく追加した OSS データソースを選択します。
  - データソース > テーブル：送信先の MaxCompute テーブルです。
  - 送信先 > テキスト形式：CSV を選択します。
  - 送信先 > オブジェクト名（パスを含む）：OSS 内のオブジェクト名（パスを含む）。例：a.txt や aaa/bbb/cc.csv。
  - 実行時リソース：専用リソースグループを選択します。
  - その他のパラメーターはデフォルト値のままとします。
  また、構成セクション上部のアイコンをクリックしてコードエディタに切り替え、スクリプトでノードを構成することもできます。以下に例を示します：
```
{
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    },
    "setting":{
        "errorLimit":{
            "record":"0"
        },
        "speed":{
            "concurrent":1,
            "dmu":1,
            "throttle":false
        }
    },
    "steps":[
        {
            "category":"reader",
            "name":"Reader",
            "parameter":{
                "column":[
                    "name",
                    "id",
                    "gender"
                ],
                "datasource":"odps_first",
                "partition":[],
                "table":"Transs"
            },
            "stepType":"odps"
        },
        {
            "category":"writer",
            "name":"Writer",
            "parameter":{
                "datasource":"Trans",
                "dateFormat":"yyyy-MM-dd HH:mm:ss",
                "encoding":"UTF-8",
                "fieldDelimiter":",",
                "fileFormat":"csv",
                "nullFormat":"null",
                "object":"qwee.csv",
                "writeMode":"truncate"
            },
            "stepType":"oss"
        }
    ],
    "type":"job",
    "version":"2.0"
}                           
```
6. 実行をクリックします。
OSS コンソールで同期されたデータを確認します。CSV ファイルには MaxCompute から移行されたデータが含まれています。詳細については、「オブジェクトのダウンロード」をご参照ください。