DataWorks:ApsaraDB for OceanBase

バッチ読み取り

• ApsaraDB for OceanBase は Oracle および MySQL テナントモードをサポートしています。データフィルタリングのために where 句を設定する場合、または column パラメーターで関数列を設定する場合、その構文が対応するテナントモードの SQL 制約に準拠していることを確認してください。準拠していない場合、SQL ステートメントが失敗する可能性があります。

• ビューからデータを読み取ることができます。

• バッチ読み取り中は、同期中のデータを変更しないでください。これにより、データの重複や損失などのデータ品質の問題を防ぐことができます。

• データソースで Read by Partition を設定する場合、データソースへのアクセスに使用するアカウントには system 権限が必要です。

バッチ書き込み

• データの書き込みには batch メソッドの使用を推奨します。このメソッドは、蓄積された行数が事前定義されたしきい値に達した場合にのみ書き込みリクエストを送信します。

• ApsaraDB for OceanBase は Oracle および MySQL テナントモードをサポートしています。preSql および postSql パラメーターを設定する際は、その構文が対応するテナントモードの SQL 制約に準拠していることを確認してください。準拠していない場合、SQL ステートメントが失敗する可能性があります。

リアルタイム読み取り

• この機能は、OceanBase の MySQL テナントモードのみをサポートしています。

• リアルタイムデータを同期するには、binlog 機能を有効にする必要があります。詳細については、「Binlog 関連の操作 (Alibaba Cloud インスタンス)」、「」、または「Binlog 関連の操作 (OB Cloud インスタンス)」をご参照ください。

• データベース全体のリアルタイム同期タスクは、接続文字列モードのデータソースをサポートしていません。

• データベース全体のリアルタイム同期タスクでは、データベースのバージョンが V3.0 以降である必要があります。

• ApsaraDB for OceanBase は、複数の物理的に分散したデータベースからのデータを単一の論理データベースに統合できる分散リレーショナルデータベースです。ただし、ApsaraDB for OceanBase から AnalyticDB for MySQL へリアルタイムでデータを同期する場合、単一の物理データベースからのみデータを同期できます。論理データベースからのデータ同期はサポートされていません。

ホワイトリストの設定

ご利用の サーバーレスリソースグループまたはデータ統合専用リソースグループが配置されている VPC の CIDR ブロックを、ご利用の OceanBase インスタンスのホワイトリストに追加します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。

アカウントの作成と権限の付与

OceanBase データベースで必要な操作権限を持つデータベースアカウントを作成します。詳細については、「アカウントの作成」をご参照ください。

単一テーブルのバッチ同期

• サポートされるデータソース：データ統合がサポートするすべてのデータソースタイプ。

• 設定ガイド：「バッチ同期タスクの設定」

単一テーブルのリアルタイム同期

• サポートされるデータソース：Kafka

• 設定ガイド：「データベース全体のリアルタイム同期タスクの設定」

データベース全体のリアルタイム同期

• サポートされるデータソース：MySQL

• 設定ガイド：「データベース全体のリアルタイム同期タスクの設定」

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプト形式の要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトの例

{
    "type": "job",
    "steps": [
        {
            "stepType": "apsaradb_for_OceanBase", // プラグイン名。
            "parameter": {
                "datasource": "", // データソース名。
                "where": "",
                "column": [ // 列。
                    "id",
                    "name"
                ],
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {
                "print": false,
                "fieldDelimiter": ","
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0" // 許容されるダーティデータのレコード数。
        },
        "speed": {
            "throttle": true, // false に設定すると、mbps パラメーターは有効にならず、速度制限は適用されません。true に設定すると、速度制限が有効になります。
            "concurrent": 1, // 同時実行数。
            "mbps":"12"// 速度制限のレート。1 mbps = 1 MB/s。
        }
    }
}

Reader スクリプトのパラメーター

Writer スクリプトの例

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"apsaradb_for_OceanBase",// プラグイン名。
            "parameter":{
                "datasource": "データソース名",
                "column": [// 列。
                    "id",
                    "name"
                ],
                "table": "apsaradb_for_OceanBase_table",// テーブル名。
                "preSql": [ // データ同期タスクの実行前に実行される SQL ステートメント。
                    "delete from @table where db_id = -1"
                ],
                "postSql": [// データ同期タスクの実行後に実行される SQL ステートメント。
                    "update @table set db_modify_time = now() where db_id = 1"
                ],
                "obWriteMode": "insert",
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるダーティデータのレコード数。
        },
        "speed":{
            "throttle":true,// false に設定すると、mbps パラメーターは有効にならず、速度制限は適用されません。true に設定すると、速度制限が有効になります。
            "concurrent":1, // 同時実行数。
            "mbps":"12"// 速度制限のレート。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター