DataWorks:ApsaraDB For OceanBase データソース

オフライン読み取り

• OceanBase は、Oracle および MySQL のテナントモードをサポートしています。[where] フィルター条件と [column] パラメーター内の関数カラムを構成する際は、対応するテナントモードの SQL 構文に準拠する必要があります。そうしないと、SQL 文の実行に失敗する可能性があります。

• ビューからデータを読み取ることができます。

• OceanBase からのオフライン読み取り中に同期中のデータを変更しないでください。変更すると、データ重複やデータ損失などのデータ品質の問題が発生する可能性があります。

• データソースが パーティションによる読み取り で設定されている場合、データソースへのアクセスに使用するアカウントにはシステム権限が必要です。

オフライン書き込み

• データはバッチモードで書き込まれます。行数が指定されたしきい値に達した後に書き込みリクエストが開始されます。

• OceanBase は Oracle と MySQL のテナントモードをサポートしています。preSql および postSql パラメーターで指定する文は、対応するテナントモードの SQL 構文に準拠する必要があります。準拠していない場合、SQL 文の実行に失敗する可能性があります。

リアルタイム読み取り

OceanBase は、物理的に分散した複数のデータベースのデータを単一の論理データベースに統合する分散リレーショナルデータベースです。ただし、OceanBase から AnalyticDB for MySQL へリアルタイムでデータを同期する場合、単一の物理データベースからのみデータを同期できます。論理データベースからデータを同期することはできません。

ホワイトリストの設定

ご利用の OceanBase インスタンスのホワイトリストに、サーバーレスリソースグループまたはデータ統合専用リソースグループの VPC CIDR ブロックを追加します。詳細については、「ホワイトリストの追加」をご参照ください。

アカウントの作成と権限付与

データベースログインアカウントを作成します。このアカウントには、OceanBase に対する必要な操作権限が必要です。詳細については、「アカウントの作成」をご参照ください。

単一テーブルのバッチ同期タスクの設定

• 手順の詳細については、「コードレス UI でのタスク設定」および「コードエディタでのタスク設定」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプトデモについては、「付録：スクリプトデモとパラメーターの説明」をご参照ください。

データベース全体のリアルタイム同期タスクの設定

手順の詳細については、「DataStudio でのリアルタイム同期タスクの設定」をご参照ください。

単一テーブルまたはデータベース全体の完全および増分 (リアルタイム) 読み取り同期タスクの設定

手順の詳細については、「データベース全体のリアルタイム同期タスクの設定」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでのタスク設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトデモ

{
    "type": "job",
    "steps": [
        {
            "stepType": "apsaradb_for_OceanBase", // プラグイン名
            "parameter": {
                "datasource": "", // データソース名
                "where": "",
                "column": [ // フィールド
                    "id",
                    "name"
                ],
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {
                "print": false,
                "fieldDelimiter": ","
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0" // エラーレコード数
        },
        "speed": {
            "throttle": true, // スロットリングを有効にするかどうかを指定します。true に設定するとスロットリングが有効になり、false に設定するとスロットリングが無効になり、mbps パラメーターは効果がありません。
            "concurrent": 1, // 同時実行タスク数
            "mbps":"12"// スロットリングレート。1 mbps = 1 MB/s。
        }
    }
}

Reader スクリプトのパラメーター

Writer スクリプトデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"apsaradb_for_OceanBase",// プラグイン名。
            "parameter":{
                "datasource": "データソース名",
                "column": [// フィールド。
                    "id",
                    "name"
                ],
                "table": "apsaradb_for_OceanBase_table",// テーブル名。
                "preSql": [ // データ同期タスクの実行前に実行する SQL 文。
                    "delete from @table where db_id = -1"
                ],
                "postSql": [// データ同期タスクの実行後に実行する SQL 文。
                    "update @table set db_modify_time = now() where db_id = 1"
                ],
                "obWriteMode": "insert",
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコード数。
        },
        "speed":{
            "throttle":true,// スロットリングを有効にするかどうかを指定します。true に設定するとスロットリングが有効になり、false に設定するとスロットリングが無効になり、mbps パラメーターは効果がありません。
            "concurrent":1, // 同時実行タスク数。
            "mbps":"12"// スロットリングレート。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター