DataWorks:Oracle データソース

バッチデータの読み取りと書き込み

Oracle Writer プラグインは ojdbc6-12.1.1.jar ドライバーを使用します。

リアルタイム読み取り

• サポート対象：

  11g R2 or later、12c non cdb、18c non cdb、19c non cdb、および 19c cdb データベース。

• サポート対象外：

  12c cbd および 18c cbd データベース。

• Oracle をデータベース全体のリアルタイム同期タスクのソースとして使用する場合、アーカイブ・ロギングを有効にする必要があります。詳細については、「Oracle 環境の準備」をご参照ください。

コンテナデータベース (CDB) は、Oracle 12c 以降のバージョンで導入された機能です。複数のプラガブルデータベース (PDB) をホストするように設計されています。

Oracle データベースのバージョンの確認

サポートされている Oracle データベースのバージョンは、同期シナリオによって異なります。同期の前に、ご利用の Oracle データベースのバージョンがサポートされているかどうかを確認してください。

1. 次のいずれかの文を実行して、Oracle データベースのバージョンを確認できます。

   • 文 1：

     select * from v$version;

   • 文 2：

     select version from v$instance;

2. Oracle データベースのバージョンが 12c または 18c の場合、次の文を実行して、データベースが cdb 型のデータベースであるかどうかを確認します。データ統合のリアルタイム同期タスクは、12c および 18c の cdb 型の Oracle データベースをサポートしていません。

   select name,cdb,open_mode,con_id from v$database;

アカウントの作成と権限の設定

後続の操作のために、データベースのログインアカウントを計画する必要があります。このアカウントには、必要な Oracle の操作権限が必要です。

1. アカウントを作成します。詳細については、「Oracle アカウントの作成」をご参照ください。

2. 権限を設定します。

   次のコマンドを実行して、アカウントに権限を付与できます。次の文を実行するときは、'sync_account' を作成したアカウントに置き換えてください。

   grant create session to '同期アカウント';  // 同期アカウントにデータベースへのログイン権限を付与します。
   grant connect to '同期アカウント';  // 同期アカウントにデータベースへの接続権限を付与します。
   grant select on nls_database_parameters to '同期アカウント';  // 同期アカウントにデータベースの nls_database_parameters システム構成をクエリする権限を付与します。
   grant select on all_users to '同期アカウント';  // 同期アカウントにデータベース内のすべてのユーザーをクエリする権限を付与します。
   grant select on all_objects to '同期アカウント';  // 同期アカウントにデータベース内のすべてのオブジェクトをクエリする権限を付与します。
   grant select on DBA_MVIEWS to '同期アカウント';  // 同期アカウントにデータベースのマテリアライズドビューを表示する権限を付与します。
   grant select on DBA_MVIEW_LOGS to '同期アカウント';  // 同期アカウントにデータベースのマテリアライズドビューログを表示する権限を付与します。
   grant select on DBA_CONSTRAINTS to '同期アカウント';  // 同期アカウントにデータベース内のすべてのテーブルの制約情報を表示する権限を付与します。
   grant select on DBA_CONS_COLUMNS to '同期アカウント';  // 同期アカウントにデータベース内のすべてのテーブルの指定された制約内のすべての列に関する情報を表示する権限を付与します。
   grant select on all_tab_cols to '同期アカウント';  // 同期アカウントにデータベース内のテーブル、ビュー、およびクラスターの列情報を表示する権限を付与します。
   grant select on sys.obj$ to '同期アカウント';  // 同期アカウントにデータベース内のオブジェクトを表示する権限を付与します。sys.obj$ テーブルは、Oracle データディクショナリのベースオブジェクトテーブルであり、すべての Oracle オブジェクトを格納します。
   grant select on SYS.COL$ to '同期アカウント';  // 同期アカウントにデータベーステーブルの列定義情報を表示する権限を付与します。SYS.COL$ はテーブルの列定義情報を格納します。
   grant select on sys.USER$ to '同期アカウント';  // 同期アカウントにデータベースのシステムテーブルを表示する権限を付与します。sys.USER$ はユーザーセッションのデフォルトサービスです。
   grant select on sys.cdef$ to '同期アカウント';  // 同期アカウントにデータベースのシステムテーブルを表示する権限を付与します。
   grant select on sys.con$ to '同期アカウント';  // 同期アカウントにデータベースの制約情報を表示する権限を付与します。sys.con$ は Oracle の制約情報を格納します。
   grant select on all_indexes to '同期アカウント';  // 同期アカウントにデータベースのすべてのインデックスを表示する権限を付与します。
   grant select on v_$database to '同期アカウント';  // 同期アカウントにデータベースの v_$database ビューを表示する権限を付与します。
   grant select on V_$ARCHIVE_DEST to '同期アカウント';  // 同期アカウントにデータベースの V_$ARCHIVE_DEST ビューを表示する権限を付与します。
   grant select on v_$log to '同期アカウント';  // 同期アカウントにデータベースの v_$log ビューを表示する権限を付与します。v_$log はコントロールファイルからログファイル情報を表示します。
   grant select on v_$logfile to '同期アカウント';  // 同期アカウントにデータベースの v_$logfile ビューを表示する権限を付与します。v_$logfile には REDO ログファイルに関する情報が含まれています。
   grant select on v_$archived_log to '同期アカウント';  // 同期アカウントにデータベースの v$archived_log ビューを表示する権限を付与します。v$archived_log にはアーカイブログに関する情報が含まれています。
   grant select on V_$LOGMNR_CONTENTS to '同期アカウント';  // 同期アカウントにデータベースの V_$LOGMNR_CONTENTS ビューを表示する権限を付与します。
   grant select on DUAL to '同期アカウント';   // 同期アカウントにデータベースの DUAL テーブルを表示する権限を付与します。DUAL は SELECT 構文ルールを満たすために使用される仮想テーブルです。Oracle の DUAL テーブルには 1 つのレコードしか含まれていません。
   grant select on v_$parameter to '同期アカウント';  // 同期アカウントにデータベースの v_$parameter ビューを表示する権限を付与します。v$parameter は、データベースのパラメーター設定を格納する Oracle の動的ディクショナリテーブルです。
   grant select any transaction to '同期アカウント';  // 同期アカウントにデータベース内の任意のトランザクションを表示する権限を付与します。
   grant execute on SYS.DBMS_LOGMNR to '同期アカウント';  // 同期アカウントにデータベースの Logmnr ツールを使用する権限を付与します。Logmnr ツールは、トランザクションの分析や失われたデータの回復に役立ちます。
   grant alter session to '同期アカウント';  // 同期アカウントにデータベースセッションを変更する権限を付与します。
   grant select on dba_objects to '同期アカウント';  // 同期アカウントにデータベース内のすべてのオブジェクトを表示する権限を付与します。
   grant select on v_$standby_log to '同期アカウント';  // 同期アカウントにデータベースの v_$standby_log ビューを表示する権限を付与します。v_$standby_log にはスタンバイデータベースのアーカイブログが含まれています。
   grant select on v_$ARCHIVE_GAP to '同期アカウント';  // 同期アカウントに欠落しているアーカイブログをクエリする権限を付与します。
   grant select on sys.ICOL$ to '同期アカウント';  // 同期アカウントにデータベース内のオブジェクトを表示する権限を付与します。sys.obj$ テーブルは、Oracle データディクショナリのベースオブジェクトテーブルであり、すべての Oracle オブジェクトを格納します。
   grant select on V$THREAD to '同期アカウント';  // 同期アカウントにインスタンスのスレッド情報を表示する権限を付与します。V$THREAD ビューは、Oracle の動的パフォーマンスビューのスレッドステータステーブルであり、RAC クラスター内の各インスタンスのスレッドステータス情報を格納し、増分解析中のインスタンスステータスとログソースを決定するために使用されます。

   バッチ完全同期を使用する必要がある場合は、次のコマンドを実行して、同期アカウントにすべてのテーブルに対するクエリ権限を付与します。

   grant select any table to '同期アカウント'; 

   Oracle 12c 以降のバージョンの場合、次のコマンドを実行して、同期アカウントにログマイニングを実行する権限を付与します。Oracle 12c より前のバージョンでは、ログマイニング機能は組み込まれているため、このコマンドを実行する必要はありません。

   grant LOGMINING TO '同期アカウント';

アーカイブ・ロギングと補足ログの有効化、および REDO ログファイルの切り替え

1. 次の SQL ステートメントを実行して、アーカイブ・ロギングを有効にします。

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. 補足ログを有効にします。

   必要に応じて適切な補足ログを有効にできます。SQL ステートメントは次のとおりです。

   // リアルタイム同期中に完全なデータ変更をキャプチャするには、補足ログを有効にする必要があります。次の SQL ステートメントを使用して、データベースレベルで有効にできます：
   alter database add supplemental log data(primary key) columns; // データベースのプライマリキー列の補足ログを有効にします。
   alter database add supplemental log data(unique) columns; // データベースの一意のインデックス列の補足ログを有効にします。
   
   // テーブルレベルで有効にすることもできます：
   alter schema.table add supplemental log data(primary key) columns; // 指定されたテーブルのプライマリキー列の補足ログを有効にします。
   alter schema.table add supplemental log data(unique) columns; // 指定されたテーブルの一意のインデックス列の補足ログを有効にします。

3. REDO ログファイルを切り替えます。

   補足ログを有効にした後、次のコマンドを複数回 (5 回を推奨) 実行して、REDO ログファイルを切り替えます。

   alter system switch logfile;

   説明

   上記のコマンドを複数回実行して REDO ログファイルを切り替えることで、現在のログファイルがいっぱいになったときに次のログファイルに切り替えることができます。これにより、実行された操作レコードが失われるのを防ぎ、その後のデータ回復を容易にします。

データベースの文字エンコーディングの確認

データベースで次のコマンドを実行して、文字エンコーディングを確認します。

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters はデータベースのパラメーター設定を格納します。

• NLS_CHARACTERSET と NLS_NCHAR_CHARACTERSET は、データベース文字セットと国別文字セットであり、Oracle の 2 つの主要なカテゴリの文字データのストレージタイプを示します。

データ統合は、データ同期のために UTF8、AL32UTF8、AL16UTF16、および ZHS16GBK エンコーディング形式のみをサポートします。データベースにサポートされていない文字エンコーディングが含まれている場合は、データ同期を実行する前にそれらを変更してください。

データベーステーブルのデータ型の確認

SQL クエリ文 (SELECT) を使用して、データベーステーブルのデータ型を確認できます。次の例は、'テーブル名' テーブルのデータ型を確認する方法を示しています。

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='テーブル名'; 

• COLUMN_NAME：テーブルの列名。

• DATA_TYPE：対応する列のデータ型。

• all_tab_columns：データベーステーブルのすべての列に関する情報を格納するビュー。

• TABLE_NAME：クエリするターゲットテーブルの名前。上記の文を実行するときは、'テーブル名' を実際のテーブル名に置き換えてください。

また、select * from 'テーブル名'; を実行して、ターゲットテーブルに関するすべての情報をクエリし、データ型を取得することもできます。

単一テーブルのバッチ同期タスク設定ガイド

• 手順については、「ウィザードモードでのバッチ同期タスクの設定」および「スクリプトモードでのバッチ同期タスクの設定」をご参照ください。

• スクリプトモード設定の完全なパラメーターとスクリプトデモについては、以下の「付録：スクリプトデモとパラメーターの説明」をご参照ください。

単一テーブルのリアルタイム同期タスク設定ガイド

手順については、「リアルタイム同期タスクの設定」をご参照ください。

データベース全体のバッチ、データベース全体 (リアルタイム) の完全および増分、データベース全体 (リアルタイム) のシャーディング同期などのデータベース全体の同期の設定ガイド

手順については、「データベース全体の同期タスクの設定」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプト形式の要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下の情報は、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明しています。

Reader スクリプトデモ

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader スクリプトパラメーター

Writer スクリプトデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",// プラグイン名。
            "parameter":{
                "postSql":[],// データ同期タスクの完了後に実行する SQL ステートメント。
                "datasource":"",
                "session":[],// データベース接続セッションパラメーター。
                "column":[// 列。
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",// エンコーディング形式。
                "batchSize":1024,// バッチで一度に送信するレコード数。
                "table":"",// テーブル名。
                "preSql":[]// データ同期タスクの前に実行する SQL ステートメント。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラー数。
        },
        "speed":{
            "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは効果がなく、速度制限が無効になります。throttle が true に設定されている場合、速度制限が有効になります。
            "concurrent":1, // 同時実行数。
            "mbps":"12"// 速度制限レート。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトパラメーター