MaxCompute から OSS へのデータ移行 - MaxCompute - Alibaba Cloud ドキュメントセンター

このトピックでは、DataWorks のデータ同期機能を使用して、MaxCompute から Object Storage Service (OSS) にデータを移行する方法について説明します。

前提条件

MaxCompute が有効化されていること。
DataWorks が有効化されていること。
DataWorks でワークフローを作成済みであること。このトピックでは、基本モードを例として使用します。詳細については、「ワークフローの作成」をご参照ください。
説明
このトピックでは、DataStudio のパブリックプレビューに含まれていないワークスペースを例として使用します。

手順

DataWorks でテーブルを作成します。
1. DataWorks コンソールにログインします。
2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。
3. 対象のワークスペースの [アクション] 列で、[クイックアクセス] > [データ開発] をクリックします。
  説明
  このトピックでは、DataStudio のパブリックプレビューに含まれていないワークスペースを例として使用します。
4. 作成したビジネスフローを右クリックし、[新しいテーブル] > [MaxCompute] > [テーブル] を選択します。
5. [テーブルの作成] ページで、エンジンタイプを選択し、[名前] を入力します。
6. テーブル編集ページで、[DDL 文] をクリックします。
7. [DDL] ダイアログボックスで、次の CREATE TABLE 文を入力し、[テーブルスキーマの生成] をクリックします。
```
CREATE TABLE transs
(name    STRING,
id    STRING,
gender    STRING);
```
8. [本番環境に送信] をクリックします。
transs テーブルにデータをインポートします。
1. [DataStudio] ページでをクリックします。
2. [ローカルデータを開発テーブルにインポート] ダイアログボックスで、3 文字以上を入力して対象のテーブルを検索し、[次へ] をクリックします。
3. [データインポート方法の選択] を [ローカルデータのアップロード] に設定し、[ファイルの選択] の横にある [参照...] をクリックして、ローカルデータファイルを選択し、インポート情報を設定します。
  サンプルデータを次に示します。
```
qwe,145,F
asd,256,F
xzc,345,M
rgth,234,F
ert,456,F
dfg,12,M
tyj,4,M
bfg,245,M
nrtjeryj,15,F
rwh,2344,M
trh,387,F
srjeyj,67,M
saerh,567,M
```
4. [次へ] をクリックします。
5. 宛先テーブルのフィールドとソースフィールドの対応方法を選択します。
6. [データのインポート] をクリックします。
OSS コンソールで宛先を準備します。
1. OSS コンソールにログインし、バケットを作成します。詳細については、「バケットの作成」をご参照ください。
2. コンピューターに qwee.csv という名前のファイルを作成し、OSS にアップロードします。詳細については、「オブジェクトのアップロード」をご参照ください。
  説明
  qwee.csv ファイルのフィールド名が transs テーブルのフィールド名と同じであることを確認してください。
DataWorks でデータソースを追加します。
1. DataWorks コンソールにログインします。
2. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。
3. 対象のワークスペースの [アクション] 列で、[クイックアクセス] > [データ統合] をクリックします。
4. 左側のナビゲーションウィンドウで [データソース] をクリックして、[データソース] ページを開きます。
5. [データソースの追加] をクリックし、データの型を [MaxCompute] に設定します。
6. [MaxCompute データソースの追加] ダイアログボックスで、パラメーターを設定し、[完了] をクリックします。詳細については、「MaxCompute データソースの設定」をご参照ください。
7. OSS データソースを追加します。詳細については、「OSS データソースの設定」をご参照ください。

MaxCompute (ODPS) Reader と OSS Writer を設定します。

データ分析ページに移動します。指定したワークフローを右クリックし、[ノードの作成] > [データ統合] > [オフライン同期] を選択します。
[ノードの作成] ダイアログボックスで、[ノード名] を入力し、[送信] をクリックします。
[ネットワークとリソースの設定] ページで、データ統合専用リソースグループを選択し、上部のメニューバーにあるアイコンをクリックしてコードエディタに切り替えます。
スクリプトモードで、アイコンをクリックします。
[テンプレートのインポート] ダイアログボックスで、[ソースタイプ]、[データソース]、[ターゲットタイプ]、[データソース] を設定し、[確認] をクリックします。

JSON コードを変更した後、実行アイコン Run をクリックします。

サンプルコードを次に示します。

{
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    },
    "setting":{
        "errorLimit":{
            "record":"0"
        },
        "speed":{
            "concurrent":1,
            "dmu":1,
            "throttle":false
        }
    },
    "steps":[
        {
            "category":"reader",
            "name":"Reader",
            "parameter":{
                "column":[
                    "name",
                    "id",
                    "gender"
                ],
                "datasource":"odps_first",
                "partition":[],
                "table":"Transs"
            },
            "stepType":"odps"
        },
        {
            "category":"writer",
            "name":"Writer",
            "parameter":{
                "datasource":"Trans",
                "dateFormat":"yyyy-MM-dd HH:mm:ss",
                "encoding":"UTF-8",
                "fieldDelimiter":",",
                "fileFormat":"csv",
                "nullFormat":"null",
                "object":"qwee.csv",
                "writeMode":"truncate"
            },
            "stepType":"oss"
        }
    ],
    "type":"job",
    "version":"2.0"
}

OSS コンソールから宛先ファイルのデータを表示します。詳細については、「オブジェクトのダウンロード」をご参照ください。