Tablestore:MaxCompute への完全データのエクスポート

コードレス UI (デフォルト)

コードレス UI で以下の項目を設定します。

• データソース: ソースと宛先のデータソースを選択します。

• ランタイムリソース: リソースグループを選択します。選択すると、システムはデータソースの接続性を自動的にテストします。

• データソース：

  • テーブル: ドロップダウンリストからソースデータテーブルを選択します。

  • プライマリキー範囲 (開始): データを読み取るプライマリキー範囲の開始を JSON 配列フォーマットで指定します。 inf_min は無限小の値を表します。

    たとえば、プライマリキーが int 型の id 列と、string 型の name 列で構成されている場合、構成例は次のとおりです。

    特定のプライマリキー範囲	完全データ
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • プライマリキー範囲 (終了): データを読み取るプライマリキー範囲の終了を指定します。値は JSON 配列フォーマットで指定する必要があります。inf_max は無限大の値を表します。

    例えば、プライマリキーが id という名前の int 型カラムと、name という名前の string 型カラムで構成される場合、構成例は次のとおりです。

    特定のプライマリキー範囲	完全データ
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • 分割構成：カスタムの分割構成情報を JSON 配列フォーマットで指定します。ほとんどの場合、このパラメーターを構成する必要はありません。このパラメーターを構成しない場合は、[] に設定します。

    Tablestore のデータストレージでホットスポットが発生し、Tablestore Reader の自動分割ポリシーが効果的でない場合は、カスタムの分割ルールを使用します。このルールは、開始と終了のプライマリキー範囲内の分割点を指定します。シャードキーのみを設定する必要があり、すべてのプライマリキーを指定する必要はありません。

• 送信先: 次の項目を設定します。その他のパラメーターはデフォルト値のままにするか、必要に応じて変更します。

  • 本番プロジェクト名: 宛先データソースに関連付けられている MaxCompute プロジェクトの名前です。このパラメーターは自動的に入力されます。

  • Tunnel リソースグループ：デフォルト値は [共通転送リソース] です。このリソースグループは MaxCompute の無料クォータを使用します。必要に応じて、専用の Tunnel リソースグループを選択してください。

  • テーブル: 宛先テーブルを選択します。[宛先テーブルスキーマを生成] をクリックして、宛先テーブルを自動的に作成します。

  • パーティション: 同期データが保存されるパーティションを指定します。このパラメーターは日次増分同期に使用できます。

  • 書き込みモード: 書き込み前に既存のデータをクリアするか、テーブルにデータを追加するかを選択します。

• 宛先フィールドマッピング: ソーステーブルから宛先テーブルへのフィールドマッピングを設定します。システムは、ソーステーブルに基づいてフィールドを自動的にマッピングします。必要に応じてマッピングを変更できます。

構成が完了したら、ページ上部の[保存]をクリックします。

コードエディタ

エディターでスクリプトを編集するには、ページの上部にある [コードエディター] をクリックします。

次のサンプルスクリプトは、ソースデータテーブルに関するものです。このテーブルのプライマリキーは、id という名前の int 列と、name という名前の string 列で構成されます。属性列は、age という名前の int フィールドです。ご使用のスクリプトでは、datasource パラメーターと table パラメーターの値を実際の値に置き換えてください。

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "INTEGER"
                    },
                    {
                        "name": "name",
                        "type": "STRING"
                    },
                    {
                        "name": "age",
                        "type": "INTEGER"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
                "partition": "pt=${bizdate}",
                "truncate": true,
                "datasource": "target_data",
                "tunnelQuota": "default",
                "column": [
                    "id",
                    "name",
                    "age"
                ],
                "emptyAsNull": false,
                "guid": null,
                "table": "source_table",
                "consistencyCommit": false
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

スクリプトの編集が完了したら、ページの上部にある[保存]をクリックします。