DataWorks:Oracle データソース

オフラインの読み取りと書き込み

リアルタイム読み取り

• サポート対象：

  バージョンが 11g R2、12c non cdb、18c non cdb、19c non cdb、または 19c cdb 以降のデータベース。

• サポート対象外：

  12c cdb および 18c cdb データベース。

Oracle データベースバージョンの確認

サポートされる Oracle データベースのバージョンは、同期シナリオによって異なります。データを同期する前に、ご利用の Oracle データベースのバージョンがサポートされているかどうかを確認してください。

1. 次のいずれかのステートメントを実行して、Oracle データベースのバージョンを表示できます。

   • ステートメント 1：

     select * from v$version;

   • ステートメント 2：

     select version from v$instance;

2. データベースのバージョンが 12c または 18c の場合、次のステートメントを実行して、それが cdb データベースであるかどうかを確認します。Data Integration のリアルタイム同期タスクは、12c および 18c の cdb Oracle データベースをサポートしていません。

   select name,cdb,open_mode,con_id from v$database;

アカウントの作成と権限の設定

後続の操作のために、データベースログインアカウントを計画する必要があります。このアカウントには、必要な Oracle 権限が必要です。

1. アカウントを作成します。詳細については、「Oracle アカウントの作成」をご参照ください。

2. 権限を設定します。

   次のコマンドを使用して、アカウントに権限を付与できます。ステートメントを実行する際は、'sync_account' を作成したアカウントに置き換えてください。

   grant create session to 'sync_account';  // 同期アカウントにログイン権限を付与します。
   grant connect to 'sync_account';  // 同期アカウントにデータベース接続権限を付与します。
   grant select on nls_database_parameters to 'sync_account';  // nls_database_parameters システム構成をクエリする権限を付与します。
   grant select on all_users to 'sync_account';  // データベース内のすべてのユーザーをクエリする権限を付与します。
   grant select on all_objects to 'sync_account';  // データベース内のすべてのオブジェクトをクエリする権限を付与します。
   grant select on DBA_MVIEWS to 'sync_account';  // データベース内のマテリアライズドビューを表示する権限を付与します。
   grant select on DBA_MVIEW_LOGS to 'sync_account';  // データベース内のマテリアライズドビューログを表示する権限を付与します。
   grant select on DBA_CONSTRAINTS to 'sync_account';  // すべてのテーブルの制約情報を表示する権限を付与します。
   grant select on DBA_CONS_COLUMNS to 'sync_account';  // すべてのテーブルの指定された制約内のすべての列に関する情報を表示する権限を付与します。
   grant select on all_tab_cols to 'sync_account';  // テーブル、ビュー、およびクラスター内の列に関する情報を表示する権限を付与します。
   grant select on sys.obj$ to 'sync_account';  // データベース内のオブジェクトを表示する権限を付与します。sys.obj$ テーブルは、Oracle データディクショナリのベースオブジェクトテーブルであり、すべての Oracle オブジェクトを格納します。
   grant select on SYS.COL$ to 'sync_account';  // 列定義情報を表示する権限を付与します。SYS.COL$ は列定義を格納します。
   grant select on sys.USER$ to 'sync_account';  // システムテーブルを表示する権限を付与します。sys.USER$ はユーザーセッションのデフォルトサービスです。
   grant select on sys.cdef$ to 'sync_account';  // システムテーブルを表示する権限を付与します。
   grant select on sys.con$ to 'sync_account';  // 制約情報を表示する権限を付与します。sys.con$ は Oracle の制約情報を記録します。
   grant select on all_indexes to 'sync_account';  // データベース内のすべてのインデックスを表示する権限を付与します。
   grant select on v_$database to 'sync_account';  // v_$database ビューを表示する権限を付与します。
   grant select on V_$ARCHIVE_DEST to 'sync_account';  // V_$ARCHIVE_DEST ビューを表示する権限を付与します。
   grant select on v_$log to 'sync_account';  // v_$log ビューを表示する権限を付与します。v_$log はコントロールファイルからログファイル情報を表示します。
   grant select on v_$logfile to 'sync_account';  // v_$logfile ビューを表示する権限を付与します。v_$logfile には REDO ログファイルに関する情報が含まれています。
   grant select on v_$archived_log to 'sync_account';  // v$archived_log ビューを表示する権限を付与します。v$archived_log にはアーカイブされたログに関する情報が含まれています。
   grant select on V_$LOGMNR_CONTENTS to 'sync_account';  // V_$LOGMNR_CONTENTS ビューを表示する権限を付与します。
   grant select on DUAL to 'sync_account';   // DUAL テーブルを表示する権限を付与します。DUAL は SELECT 構文規則に準拠するために使用される仮想テーブルです。Oracle では、DUAL には 1 つのレコードしか含まれていません。
   grant select on v_$parameter to 'sync_account';  // v_$parameter ビューを表示する権限を付与します。v$parameter はデータベースパラメーター設定を格納する動的ディクショナリテーブルです。
   grant select any transaction to 'sync_account';  // 任意のトランザクションを表示する権限を付与します。
   grant execute on SYS.DBMS_LOGMNR to 'sync_account';  // Logmnr ツールを使用する権限を付与します。Logmnr ツールは、トランザクションの分析と失われたデータの回復に役立ちます。
   grant alter session to 'sync_account';  // データベースセッションを変更する権限を付与します。
   grant select on dba_objects to 'sync_account';  // データベース内のすべてのオブジェクトを表示する権限を付与します。
   grant select on v_$standby_log to 'sync_account';  // v_$standby_log ビューを表示する権限を付与します。v_$standby_log にはセカンダリデータベースのアーカイブされたログが含まれています。
   grant select on v_$ARCHIVE_GAP to 'sync_account';  // 不足しているアーカイブされたログをクエリする権限を付与します。
   grant select on sys.ICOL$ to 'sync_account';  // データベース内のオブジェクトを表示する権限を付与します。sys.obj$ テーブルは、Oracle データディクショナリのベースオブジェクトテーブルであり、すべての Oracle オブジェクトを格納します。
   grant select on V$THREAD to 'sync_account';  // インスタンスのスレッド情報を表示する権限を付与します。V$THREAD ビューは、Oracle の動的パフォーマンスビューにおけるスレッド状態テーブルです。RAC クラスター内の各インスタンスのスレッドステータスを格納し、増分解析中にインスタンスのステータスとログソースを決定するために使用されます。

   オフラインで完全データ同期を実行するには、次のコマンドも実行して、同期アカウントにすべてのテーブルに対するクエリ権限を付与する必要があります。

   grant select any table to 'sync_account'; 

   Oracle 12c 以降のバージョンの場合は、次のコマンドを実行して、同期アカウントにログマイニング権限を付与します。Oracle 12c より前のバージョンでは、ログマイニング機能が組み込まれているため、このコマンドは不要です。

   grant LOGMINING TO 'sync_account';

アーカイブされたログと補足ログの有効化、および REDO ログファイルの切り替え

1. アーカイブされたログを有効にします。SQL ステートメントは次のとおりです。

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. 補足ログを有効にします。

   適切な補足ログを有効にするには、次の SQL ステートメントを使用します。

   // リアルタイム同期で完全なデータ変更をキャプチャするには、補足ログを有効にする必要があります。データベースレベルで有効にできます。SQL ステートメントは次のとおりです：
   alter database add supplemental log data(primary key) columns; // データベースのプライマリキー列の補足ログを有効にします。
   alter database add supplemental log data(unique) columns; // データベースの一意なインデックスキー列の補足ログを有効にします。
   
   // テーブルレベルで有効にすることもできます：
   alter schema.table add supplemental log data(primary key) columns; // 特定のテーブルのプライマリキー列の補足ログを有効にします。
   alter schema.table add supplemental log data(unique) columns; // 特定のテーブルの一意なインデックスキー列の補足ログを有効にします。

3. REDO ログファイルを切り替えます。

   補足ログを有効にした後、次のコマンドを複数回 (5 回を推奨) 実行して、REDO ログファイルを切り替えます。

   alter system switch logfile;

   説明

   コマンドを複数回実行することで、現在のログファイルがいっぱいになったときに、システムが次のログファイルに確実に切り替わるようになります。このプロセスにより、操作レコードの損失を防ぎ、後続のデータ復元に役立ちます。

データベースの文字コードの確認

データベースで次のコマンドを実行して、文字コードを確認します。

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters は、データベースパラメーターの設定を格納します。

• NLS_CHARACTERSET と NLS_NCHAR_CHARACTERSET は、それぞれデータベース文字セットと国別文字セットです。これらは、Oracle の 2 つの主要な文字データ型のストレージクラスを示します。

データベーステーブルのデータ型の確認

SELECT ステートメントを使用して、データベーステーブル内のデータ型をクエリできます。次の例は、'tablename' テーブルのデータ型を表示する方法を示しています。

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME：テーブル列の名前。

• DATA_TYPE：対応する列のデータ型。

• all_tab_columns：データベーステーブル内のすべての列に関する情報を格納するビュー。

• TABLE_NAME：クエリするターゲットテーブルの名前。ステートメントを実行する際は、'tablename' を実際のテーブル名に置き換えてください。

また、select * from 'tablename'; を実行して、ターゲットテーブルに関するすべての情報をクエリし、データ型を取得することもできます。

単一テーブルのオフライン同期タスクの構成ガイド

• 手順の詳細については、「コードレス UI でのタスクの構成」および「コードエディタでのタスクの構成」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプトのデモについては、「付録：スクリプトのデモとパラメーターの説明」をご参照ください。

単一テーブルのリアルタイム同期タスクの構成ガイド

手順の詳細については、「DataStudio でのリアルタイム同期タスクの構成」をご参照ください。

データベース全体の同期の構成ガイド

手順の詳細については、「データベース全体のリアルタイム同期タスクの構成」をご参照ください。

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合、統一されたスクリプト形式の要件に基づいて、スクリプト内の関連パラメーターを構成する必要があります。詳細については、「コードエディタでのタスクの構成」をご参照ください。以下の情報は、コードエディタを使用してバッチ同期タスクを構成する際に、データソースに対して構成する必要があるパラメーターについて説明しています。

Reader スクリプトのデモ

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

Writer スクリプトのデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",// プラグイン名。
            "parameter":{
                "postSql":[],// データ同期タスクの後に実行する SQL ステートメント。
                "datasource":"",
                "session":[],// データベース接続セッションパラメーター。
                "column":[// フィールド。
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",// エンコーディング形式。
                "batchSize":1024,// バッチ内のレコード数。
                "table":"",// テーブル名。
                "preSql":[]// データ同期タスクの前に実行する SQL ステートメント。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコード数。
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps は無視され、速度制限は無効になります。throttle が true の場合、速度制限は有効になります。
            "concurrent":1, // ジョブの同時実行数。
            "mbps":"12"// 速度制限率。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター