DataWorks:ApsaraDB for OceanBase

バッチ読み取り

• ApsaraDB for OceanBase には Oracle テナントモードと MySQL テナントモードの 2 種類があります。パラメーター where 句または column パラメーター内の関数列を構成する際は、構文がご利用のインスタンスのテナントモードと互換性を持つ必要があります。互換性がない場合、SQL 文の実行に失敗する可能性があります。

• ビューからデータを読み取ることができます。

• データ重複やデータ損失などのデータ品質問題を防止するため、バッチ同期タスクの実行中にデータを変更しないでください。

• データソースを パーティション単位でデータを読み取る ように構成する場合、データソースへのアクセスに使用するアカウントには system 権限が必要です。

バッチ書き込み

• データ書き込みには バッチ メソッドの使用を推奨します。この方法では、指定された行数が蓄積された後にのみ書き込みリクエストが発行されます。

• ApsaraDB for OceanBase には Oracle テナントモードと MySQL テナントモードの 2 種類があります。preSql および postSql パラメーターを構成する際は、構文がご利用のインスタンスのテナントモードと互換性を持つ必要があります。互換性がない場合、SQL 文の実行に失敗する可能性があります。

リアルタイム読み取り

• ApsaraDB for OceanBase の MySQL テナントモードのみがサポートされています。

• リアルタイムでデータを同期するには、Binlog 機能を有効化する必要があります。詳細については、「Binlog に関する操作 (Alibaba Cloud インスタンス)」および「」「Binlog に関する操作 (OceanBase Cloud インスタンス)」をご参照ください。

• データベース全体のリアルタイム同期では、接続文字列を使用したデータソースはサポートされていません。

• データベース全体のリアルタイム同期では、ApsaraDB for OceanBase インスタンスのバージョンが V3.0 以降である必要があります。

• ApsaraDB for OceanBase は分散リレーショナルデータベースであり、物理的に分散配置された複数のデータベースのデータを 1 つの論理データベースに統合できます。ただし、ApsaraDB for OceanBase から AnalyticDB for MySQL へのリアルタイム同期では、単一の物理データベースからのみデータを同期できます。論理データベースからの同期はできません。

ホワイトリストの構成

ApsaraDB for OceanBase インスタンスのホワイトリストに、サーバーレスリソースグループ またはデータ統合専用リソースグループの CIDR ブロックを追加してください。詳細については、「IP アドレスホワイトリストの構成」をご参照ください。

アカウントの作成と権限の付与

データ同期用のデータベースアカウントを作成します。このアカウントには、ApsaraDB for OceanBase インスタンスに対する必要な操作権限が必要です。詳細については、「アカウントの作成」をご参照ください。

単一テーブルのバッチ同期

• サポートされるデータソース：Data Integration がサポートするすべてのデータソースタイプ。

• 構成ガイド：「コードレス UI によるタスク構成」

単一テーブルのリアルタイム同期

• サポートされるデータソース：Kafka

• 構成ガイド：「リアルタイム完全データベース同期タスクの構成」

データベース全体のリアルタイム同期

• サポートされるデータソース：MySQL

• 構成ガイド：「リアルタイム完全データベース同期タスクの構成」

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合は、統一されたスクリプトフォーマット要件に基づき、スクリプト内で関連パラメーターを構成する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下に、コードエディタを使用してバッチ同期タスクを構成する際に、データソース向けに設定する必要があるパラメーターについて説明します。

Reader スクリプト例

{
    "type": "job",
    "steps": [
        {
            "stepType": "apsaradb_for_OceanBase", // プラグイン名。
            "parameter": {
                "datasource": "", // データソース名。
                "where": "",
                "column": [ // 列。
                    "id",
                    "name"
                ],
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {
                "print": false,
                "fieldDelimiter": ","
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0" // 許容されるエラー レコード数。
        },
        "speed": {
            "throttle": true, // 速度制限を有効化するかどうかを指定します。throttle を false に設定した場合、mbps パラメーターは無効になります。throttle を true に設定した場合、速度制限が有効になります。
            "concurrent": 1, // 同時実行スレッド数。
            "mbps":"12"// 最大転送速度。単位：MB/s。
        }
    }
}

Reader スクリプトパラメーター

Writer スクリプト例

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"apsaradb_for_OceanBase",// プラグイン名。
            "parameter":{
                "datasource": "データソース名",
                "column": [// 列。
                    "id",
                    "name"
                ],
                "table": "apsaradb_for_OceanBase_table",// テーブル名。
                "preSql": [ // 同期タスク実行前に実行する SQL 文。
                    "delete from @table where db_id = -1"
                ],
                "postSql": [// 同期タスク実行後に実行する SQL 文。
                    "update @table set db_modify_time = now() where db_id = 1"
                ],
                "obWriteMode": "insert",
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラー レコード数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効化するかどうかを指定します。throttle を false に設定した場合、mbps パラメーターは無効になります。throttle を true に設定した場合、速度制限が有効になります。
            "concurrent":1, // 同時実行スレッド数。
            "mbps":"12"// 最大転送速度。単位：MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトパラメーター