DataWorks:MariaDB データソース

準備 1：MariaDB データベースのバージョンを確認する

Data Integration には、MariaDB バージョンに関する特定の要件があります。サポートされている MariaDB バージョンを参照して、MariaDB データベースのバージョンが要件を満たしているかどうかを確認できます。関連するステートメントを実行して、MariaDB データベースのバージョンを確認できます。

準備 2：必要な権限を持つアカウントを準備する

DataWorks が MariaDB データベースにアクセスするためのアカウントを計画して作成することをお勧めします。このようなアカウントを準備するには、次の手順を実行します。

1. アカウントを作成します。この手順はオプションです。

   詳細については、「MariaDB データベースへのアクセスに使用するアカウントを作成する」を参照してください。

2. アカウントに必要な権限を付与します。

   • バッチデータの読み取り：アカウントには SELECT 権限が必要です。

   • バッチデータの書き込み：アカウントには INSERT、DELETE、および UPDATE 権限が必要です。

3. 次のステートメントを実行して、アカウントに権限を付与します。または、アカウントに SUPER 権限を付与します。ステートメントを実行するときは、データ同期用のアカウントを作成したアカウントに置き換えます。

   -- CREATE USER 'Account for data synchronization'@'%' IDENTIFIED BY 'Password'; // データ同期に使用できるアカウントを作成し、パスワードを指定します。このようにして、任意のホストからアカウントとパスワードを使用してデータベースにアクセスできます。% はホストを示します。
   GRANT SELECT, INSERT, DELETE,UPDATE CLIENT ON *.* TO 'Account for data synchronization'@'%'; // アカウントに SELECT、INSERT、DELETE、および UPDATE 権限を付与します。

データソースを追加する

特定のデータソースとの間でデータを同期するデータ同期タスクを構成する前に、DataWorks にデータソースを追加する必要があります。詳細については、「データソースを追加および管理する」を参照してください。

単一テーブルのデータを同期するためのバッチ同期タスクを構成する

• 構成手順の詳細については、「コードエディタを使用してバッチ同期タスクを構成する」および「コードレス UI を使用してバッチ同期タスクを構成する」を参照してください。

• コードエディタを使用してバッチ同期タスクを構成するときに構成されるすべてのパラメータと実行されるコードについては、「付録：コードとパラメータ」を参照してください。

付録：コードエディタを使用してバッチ同期タスクを構成する

コードエディタを使用してバッチ同期タスクを構成する場合は、コードエディタの形式要件に基づいて、関連データソースのリーダーとライターのパラメータを構成する必要があります。形式要件の詳細については、「コードエディタを使用してバッチ同期タスクを構成する」を参照してください。以下の情報は、コードエディタのリーダーとライターのパラメータの構成の詳細について説明しています。

MariaDB Reader のコード

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"mariadb",// プラグイン名。
            "parameter":{
                "column":[// 列の名前。
                    "id"
                ],
                "connection":[
                    {   "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], // ソーステーブルからデータを読み取るために使用される SQL ステートメント。
                        "datasource":"",// データソースの名前。
                        "table":[// ソーステーブルの名前。テーブル名は角かっこ [] で囲む必要があります。
                            "xxx"
                        ]
                    }
                ],
                "where":"",// WHERE 句。
                "splitPk":"",// シャードキー。
                "encoding":"UTF-8"// エンコーディング形式。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるダーティデータレコードの最大数。
        },
        "speed":{
            "throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効になっていることを示し、値 true はスロットリングが有効になっていることを示します。mbps パラメータは、throttle パラメータが true に設定されている場合にのみ有効になります。
            "concurrent":1,// 並列スレッドの最大数。
            "mbps":"12"// 最大転送速度。単位：MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

MariaDB Reader のコードのパラメータ

MariaDB Writer のコード

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"mariadb",// プラグイン名。
            "parameter":{
                "postSql":[],// 同期タスクの実行後に実行する SQL ステートメント。
                "datasource":"",// データソースの名前。
                "column":[// 列の名前。
                    "id",
                    "value"
                ],
                "writeMode":"insert into",// 書き込みモード。有効な値：insert into、replace into、および on duplicate key update。
                "batchSize":1024,// 一度に書き込むデータレコードの数。
                "table":"",// テーブルの名前。
                "preSql":[
                     "delete from XXX;" // 同期タスクの実行前に実行する SQL ステートメント。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// 許容されるダーティデータレコードの最大数。
            "record":"0"
        },
        "speed":{
            "throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効になっていることを示し、値 true はスロットリングが有効になっていることを示します。mbps パラメータは、throttle パラメータが true に設定されている場合にのみ有効になります。
            "concurrent":1, // 並列スレッドの最大数。
            "mbps":"12"// 最大転送速度。単位：MB/s。このパラメータを適切な値に設定すると、ソースの読み取りワークロードとデスティネーションの書き込みワークロードを削減できます。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

MariaDB Writer のコードのパラメータ