DataWorks:Oracle

バッチデータの読み取りおよび書き込み

リアルタイムデータの読み取り

• サポート対象：

  Oracle Database のバージョン 11g R2 以降、12c non-CDB、18c non-CDB、19c non-CDB、および 19c CDB。

• 非サポート：

  Oracle Database のバージョン 12c CDB および 18c CDB。

• リアルタイム完全データベース同期タスクのソースとして Oracle を使用する場合、アーカイブログ機能を有効化する必要があります。詳細については、「Oracle 環境の準備」をご参照ください。

Oracle データベースのバージョンの確認

サポートされる Oracle Database のバージョンは、同期タスクによって異なります。開始する前に、ご利用の Oracle データベースのバージョンがサポート対象であることを確認してください。

1. Oracle データベースのバージョンを確認するには、以下のいずれかの文を実行します。

   • 文 1：

     select * from v$version;

   • 文 2：

     select version from v$instance;

2. Oracle データベースのバージョンが 12c または 18c の場合、以下の文を実行して、データベースが cdb 型であるかどうかをさらに確認する必要があります。DataWorks Data Integration のリアルタイム同期タスクでは、現在、バージョン 12c および 18c の cdb 型 Oracle データベースはサポートされていません。

   select name,cdb,open_mode,con_id from v$database;

アカウントの作成および権限の付与

データ同期用のデータベースユーザーアカウントを作成します。このアカウントには特定の権限が必要です。

1. アカウントを作成します。詳細については、「Oracle データベースへのアクセス用アカウントの作成」をご参照ください。

2. 権限を付与します。

   以下のコマンドを実行して、アカウントに関連する権限を追加できます。コマンドを実行する際には、'sync_account' を上記で作成したアカウントに置き換えてください。

   grant create session to 'your_sync_user';  -- ログイン権限を付与します。
   grant connect to 'your_sync_user';  -- データベースへの接続権限を付与します。
   grant select on nls_database_parameters to 'your_sync_user';  -- nls_database_parameters システム構成を照会する権限を付与します。
   grant select on all_users to 'your_sync_user';  -- データベース内のすべてのユーザーを照会する権限を付与します。
   grant select on all_objects to 'your_sync_user';  -- データベース内のすべてのオブジェクトを照会する権限を付与します。
   grant select on DBA_MVIEWS to 'your_sync_user';  -- データベース内のすべてのマテリアライズドビューを表示する権限を付与します。
   grant select on DBA_MVIEW_LOGS to 'your_sync_user';  -- マテリアライズドビューのログを表示する権限を付与します。
   grant select on DBA_CONSTRAINTS to 'your_sync_user';  -- すべてのテーブルの制約情報を表示する権限を付与します。
   grant select on DBA_CONS_COLUMNS to 'your_sync_user';  -- 制約内の列に関する情報を表示する権限を付与します。
   grant select on all_tab_cols to 'your_sync_user';  -- すべてのテーブル、ビュー、およびクラスターの列情報を表示する権限を付与します。
   grant select on sys.obj$ to 'your_sync_user';  -- データベースオブジェクトを表示する権限を付与します。sys.obj$ テーブルは、Oracle データディクショナリ内のオブジェクトの基本テーブルです。
   grant select on SYS.COL$ to 'your_sync_user';  -- 列定義情報を表示する権限を付与します。SYS.COL$ には列定義が格納されています。
   grant select on sys.USER$ to 'your_sync_user';  -- システムユーザーテーブルを表示する権限を付与します。sys.USER$ にはデータベースユーザーに関する情報が格納されています。
   grant select on sys.cdef$ to 'your_sync_user';  -- システム cdef$ テーブルを表示する権限を付与します。
   grant select on sys.con$ to 'your_sync_user';  -- 制約情報を表示する権限を付与します。sys.con$ には制約情報が格納されています。
   grant select on all_indexes to 'your_sync_user';  -- データベース内のすべてのインデックスを表示する権限を付与します。
   grant select on v_$database to 'your_sync_user';  -- v_$database ビューへのアクセス権限を付与します。
   grant select on V_$ARCHIVE_DEST to 'your_sync_user';  -- V_$ARCHIVE_DEST ビューへのアクセス権限を付与します。
   grant select on v_$log to 'your_sync_user';  -- v_$log ビューへのアクセス権限を付与します。このビューは、制御ファイルからログファイル情報を表示します。
   grant select on v_$logfile to 'your_sync_user';  -- v_$logfile ビューへのアクセス権限を付与します。このビューには、リドログファイルに関する情報が含まれています。
   grant select on v_$archived_log to 'your_sync_user';  -- v$archived_log ビューへのアクセス権限を付与します。このビューには、アーカイブログに関する情報が含まれています。
   grant select on V_$LOGMNR_CONTENTS to 'your_sync_user';  -- V_$LOGMNR_CONTENTS ビューへのアクセス権限を付与します。
   grant select on DUAL to 'your_sync_user';   -- DUAL テーブルへのアクセス権限を付与します。DUAL テーブルは、SELECT 構文規則を満たすために使用される仮想テーブルです。
   grant select on v_$parameter to 'your_sync_user';  -- v_$parameter ビューへのアクセス権限を付与します。このビューにはパラメーター設定が格納されています。
   grant select any transaction to 'your_sync_user';  -- 任意のトランザクションを照会する権限を付与します。
   grant execute on SYS.DBMS_LOGMNR to 'your_sync_user';  -- トランザクション分析およびデータ回復のために DBMS_LOGMNR ユーティリティを使用する権限を付与します。
   grant alter session to 'your_sync_user';  -- データベースセッションを変更する権限を付与します。
   grant select on dba_objects to 'your_sync_user';  -- すべてのデータベースオブジェクトを表示する権限を付与します。
   grant select on v_$standby_log to 'your_sync_user';  -- v_$standby_log ビューへのアクセス権限を付与します。このビューには、スタンバイデータベースのログファイルが含まれています。
   grant select on v_$ARCHIVE_GAP to 'your_sync_user';  -- 欠落しているアーカイブログを照会する権限を付与します。
   grant select on sys.ICOL$ to 'your_sync_user';  -- システム ICOL$ テーブル内の内部列情報を表示する権限を付与します。
   grant select on V$THREAD to 'your_sync_user';  -- インスタンススレッド情報を表示する権限を付与します。V$THREAD ビューは、増分解析時のインスタンスステータスおよびログソースを判断するために使用されます。

   バッチ完全同期の場合は、以下のコマンドを実行して、すべてのテーブルに対する照会権限も付与してください。

   grant select any table to 'your_sync_user'; 

   Oracle 12c 以降のバージョンでは、以下のコマンドを実行して、Log Mining 権限を付与してください。このコマンドは、それ以前のバージョンでは不要です（Log Mining 機能が組み込まれているため）。

   grant LOGMINING TO 'your_sync_user';

ログの有効化およびリドログファイルの切り替え

1. アーカイブログを有効化します。以下の SQL 文を実行します。

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. 補足ログを有効化します。

   適切な補足ログレベルを選択し、以下の SQL 文を実行します。

   -- リアルタイム同期で完全なデータ変更をキャプチャするには、補足ログを有効化する必要があります。
   -- データベースレベルで有効化できます：
   alter database add supplemental log data(primary key) columns; -- データベース内のすべてのプライマリキー列に対して補足ログを有効化します。
   alter database add supplemental log data(unique) columns; -- データベース内のすべての一意なインデックス列に対して補足ログを有効化します。
   
   -- または、テーブルレベルで有効化できます：
   alter schema.table add supplemental log data(primary key) columns; -- 特定のテーブルのプライマリキー列に対して補足ログを有効化します。
   alter schema.table add supplemental log data(unique) columns; -- 特定のテーブルの一意なインデックス列に対して補足ログを有効化します。

3. リドログファイルを切り替えます。

   補足ログを有効化した後、以下のコマンドを 5 回実行して、リドログファイルを切り替えます。

   alter system switch logfile;

   説明

   このコマンドを複数回実行すると、現在のログファイルがいっぱいになり、次のログファイルへと自動的に切り替わります。これにより、トランザクション記録の損失を防ぎ、データ回復を簡素化できます。

データベースの文字コードの確認

データベースの文字コードを確認するには、以下のコマンドをデータベース内で実行します。

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters は、データベースパラメーターの値を格納します。

• NLS_CHARACTERSET はデータベース文字セット、NLS_NCHAR_CHARACTERSET は国別文字セットです。これらは、Oracle 内の 2 つの主要な文字データカテゴリのストレージタイプを指定します。

テーブルのデータの型の確認

テーブル内の列のデータの型を照会するには、SELECT 文を使用できます。この例では、'tablename' という名前のテーブルのデータの型を表示する方法を示します。

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME：テーブル内の列の名前。

• DATA_TYPE：対応する列のデータの型。

• all_tab_columns：データベーステーブル内のすべての列に関する情報を格納するビュー。

• TABLE_NAME：対象テーブルの名前。'tablename' を実際のテーブル名に置き換えてください。

また、select * from 'tablename'; を実行して、対象テーブルからすべての情報を照会し、データの型を取得することもできます。

単一テーブルのバッチ同期タスク

• コードレス UI でのタスク設定およびコードエディタでのタスク設定をご参照ください。

• コードエディタのパラメーターおよびサンプルスクリプトの完全な一覧については、「付録：サンプルスクリプトおよびパラメーターのリファレンス」をご参照ください。

単一テーブルのリアルタイム同期タスク

DataStudio でのリアルタイム同期タスクの設定をご参照ください。

完全データベース同期：バッチ、リアルタイム、およびシャーディング

リアルタイム完全データベース同期タスクの設定をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一スクリプトフォーマット要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに関連するパラメーターについて説明します。

Reader スクリプトの例

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

Writer スクリプトの例

{
    "type":"job",
    "version":"2.0",// バージョン番号。 
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",// プラグイン名。 
            "parameter":{
                "postSql":[],// データ同期タスク実行後に実行される SQL 文。 
                "datasource":"",
                "session":[],// データベース接続のセッションパラメーター。 
                "column":[// フィールド。 
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",// エンコード形式。 
                "batchSize":1024,// 1 回のバッチで送信されるレコード数。 
                "table":"",// テーブル名。 
                "preSql":[]// データ同期タスク実行前に実行される SQL 文。 
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// ダーティデータレコード数。 
        },
        "speed":{
            "throttle":true,// throttle の値が false の場合、mbps パラメーターは無効となり、トラフィック制限は行われません。throttle の値が true の場合、トラフィックが制限されます。 
            "concurrent":1, // 同時実行スレッド数。 
            "mbps":"12"// トラフィック制限レート。1 mbps = 1 MB/s。 
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター