DataWorks:MariaDB

MariaDB バージョンの確認

Data Integration は、特定のバージョンの MariaDB をサポートしています。詳細については、「サポート対象の MariaDB バージョン」セクションをご参照ください。ご利用の MariaDB データベースで以下の文を実行して、バージョンを確認できます。

アカウント権限の設定

DataWorks がデータソースにアクセスするための専用の MariaDB アカウントを作成します。

1. (任意) アカウントの作成。

   詳細については、「MariaDB ユーザーの作成」をご参照ください。

2. 権限の設定。

   • MariaDB からのオフライン読み取りの場合、アカウントには同期対象のテーブルに対する SELECT 権限が必要です。

   • MariaDB へのオフライン書き込みの場合、アカウントには同期対象のテーブルに対する INSERT、DELETE、UPDATE 権限が必要です。

3. 以下のコマンドを実行してアカウントに権限を付与するか、直接 SUPER 権限を付与することができます。以下の文を実行する際は、「sync_account」を作成したアカウントに置き換えてください。

   -- CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; // 同期アカウントを作成し、パスワードを設定し、任意のホストからのログインを許可します。アットマーク (%) は任意のホストを示します。
   GRANT SELECT, INSERT, DELETE, UPDATE ON *.* TO 'sync_account'@'%'; // データベースに対する SELECT、INSERT、DELETE、UPDATE 権限を同期アカウントに付与します。

単一テーブルのオフライン同期タスクの設定ガイド

• 詳細については、「コードエディタでのタスク設定」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプト例については、「付録：MariaDB スクリプトのデモとパラメーターの説明」セクションをご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでのタスク設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトのデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"mariadb",// プラグイン名。
            "parameter":{
                "column":[// カラム名。
                    "id"
                ],
                "connection":[
                    {   "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], // 接続内で querySql を文字列として記述します。
                        "datasource":"",// データソース。
                        "table":[// テーブル名。テーブルが 1 つしかない場合でも、配列形式 [] で記述する必要があります。
                            "xxx"
                        ]
                    }
                ],
                "where":"",// フィルター条件。
                "splitPk":"",// 分割キー。
                "encoding":"UTF-8"// エンコーディング形式。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコード数。
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは有効にならず、レートは制限されません。throttle が true の場合、レートは制限されます。
            "concurrent":1,// ジョブの同時実行数。
            "mbps":"12"// レート制限。ここで、1 mbps は 1 MB/s に相当します。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

Writer スクリプトのデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"mariadb",// プラグイン名。
            "parameter":{
                "postSql":[],// インポート後に実行される文。
                "datasource":"",// データソース。
                "column":[// カラム名。
                    "id",
                    "value"
                ],
                "writeMode":"insert",// 書き込みモード。insert、replace、または update に設定できます。
                "batchSize":1024,// 1 つのバッチで送信するレコード数。
                "table":"",// テーブル名。
                "preSql":[ 
                     "delete from XXX;" // インポート前に実行される文。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// エラーレコード数。
            "record":"0"
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは有効にならず、レートは制限されません。throttle が true の場合、レートは制限されます。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// レート制限。これにより、最大同期レートを制御し、アップストリームまたはダウンストリームのデータベースへの過剰な読み書き圧力を防ぎます。ここで、1 mbps は 1 MB/s に相当します。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター