DataWorks:オフラインシャーディング同期タスクの構成

データ統合ページに移動します。

左側のナビゲーションウィンドウで [データソース] をクリックし、次に [データソースの追加] をクリックします。データソースタイプを選択します。この方法は MySQL、PolarDB、および PolarDB-O をサポートしています。

各シャーディングデータベースを標準データソースとして作成します。このトピックでは MySQL を例として使用します。詳細については、「データソース構成」をご参照ください。

[シャード] データソースを作成します。標準データソースを統合し、データ同期用の単一ソースとします。

1. [データソースの追加] をクリックし、[シャード] を選択します。

2. シャーディングデータソースタイプを選択し、パラメーターを構成します。このトピックでは MySQL (シャーディング) を例として使用します。

   

   主要なパラメーターの説明：

   • [データソース名] をカスタマイズします。

   • [データソースの選択]：各シャーディングデータベース用に作成した標準データソースを選択します。

   • [メタデータソース]：シャーディングされたデータベースとテーブルの同期では、すべてのデータソースにわたるすべてのデータベースとテーブルのスキーマが同一である必要があります。デフォルトのメタデータのテンプレートとして使用するデータソースを選択します。これにより、同期タスクは構成中にデフォルトのデータベースとテーブルのスキーマをプルできます。

     重要

     データソース内のデータベースとテーブルのスキーマが同一でない場合、同期タスクは失敗します。

オフライン同期ノードを作成します。

シャーディングされたデータベースとテーブルの同期タスクを構成します。

コードレス UI で、[データソース] パラメーターを [MySQL (シャーディング)] に設定し、既存のシャーディングデータソースを選択します。タスクの構成方法の詳細については、「コードレス UI での構成」をご参照ください。

[次へ] をクリックします。

同期したいテーブルを選択し、[保存] と [公開] をクリックして、後続のステップを完了します。

各シャーディングデータベースを標準データソースとして作成します。このトピックでは MySQL を例として使用します。詳細については、「データソース構成」をご参照ください。

オフライン同期ノードを作成します。

シャーディングされたデータベースとテーブルの同期タスクを構成します。

コードレス UI で、シャーディングされたデータベースとテーブルの同期タスクを構成します。[データソース] セクションで、[+ データソースの編集] をクリックして複数のデータソースを追加します。タスクの構成方法の詳細については、「コードレス UI での構成」をご参照ください。

標準データソースを [選択したデータソース] リストに追加し、[OK] をクリックします。

[次へ] をクリックします。

各データソースについて、同期したいテーブルを選択します。[保存] と [公開] をクリックして、後続のステップを完了します。

オフライン同期ノードを作成します。

シャーディングされたデータベースとテーブルの同期タスクを構成します。

次のスクリプト例は、コードエディタモードでシャーディングを構成する方法を示しています。詳細については、「コードエディタでの構成」をご参照ください。

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"mysql",
            "parameter":{
                "envType":0,
                "column":[
                    "id",
                    "name"
                ],
                "socketTimeout":3600000,
                "tableComment":"",
                "connection":[    // シャーディングされたデータベースの数に基づいて接続を構成します。
                    {
                        "datasource":"datasourceName1",  // シャーディング用のデータソース 1
                        "table":[           // シャーディング用のテーブルリスト 1
                            "tb1"
                        ]
                    },
                    {
                        "datasource":"datasourceName2", // シャーディング用のデータソース 2
                        "table":[          // シャーディング用のテーブルリスト 2
                            "tb2",
                            "tb3"
                        ]
                    }
                ],
                "useSpecialSecret":true,// 各データソースは独自のパスワードを使用します。
                "where":"",
                "splitPk":"id",
                "encoding":"UTF-8"
                },
            "name":"Reader",
            "category":"reader"
            },
        {
            "stepType":"odps",
            "parameter":{
                "partition":"pt=${bizdate}",
                "truncate":true,
                "datasource":"odpsname",
                "envType":0,
                "isSupportThreeModel":false,
                "column":[
                    "id",
                    "name"
                ],
                "emptyAsNull":false,
                "tableComment":"",
                "table":"t1",
                "consistencyCommit":false
                },
            "name":"Writer",
            "category":"writer"
            }
    ],
    "setting":{
        "executeMode":null,
        "errorLimit":{
            "record":""
            },
        "speed":{
            "concurrent":2,
            "throttle":false
            }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
                }
        ]
    }
}