:Oracle からのデータ同期のためのデータソースの設定

制限事項

• 補足ロギング機能は、プライマリ Oracle データベースでのみ設定できます。補足ロギングは、プライマリまたはセカンダリデータベースで有効にできます。

• Oracle インスタンスからリアルタイムで同期できる増分データは、1 日あたり最大 500 GB です。

• DataWorks のリアルタイムデータ同期ノードでは、Oracle 10g、11g、12c non-CDB、18c non-CDB、および 19c non-CDB データベースのみがサポートされています。 Oracle 12c CDB、18c CDB、および 19c CDB データベースはサポートされていません。 Oracle 12c 以降のバージョンの Oracle データベースは、複数の PDB をホストする CDB として機能できます。

注意事項

• Data Integration のリアルタイムデータ同期ノードの場合、プライマリ Oracle データベースでのみオンライン REDO ログファイルをサブスクライブできます。セカンダリ Oracle データベースでは、アーカイブログファイルのみをサブスクライブできます。リアルタイムデータ同期ノードの適時性に高い要件がある場合は、プライマリ Oracle データベースのリアルタイムの増分変更ログをサブスクライブすることをお勧めします。セカンダリ Oracle データベースのアーカイブログファイルをサブスクライブする場合、アーカイブログの生成と受信の間の最小レイテンシは、Oracle が 2 つのアーカイブログファイルを自動的に切り替える間隔によって決まります。この場合、リアルタイムデータ同期ノードの適時性を確保できません。

• Oracle データベースのアーカイブログファイルは 3 日間保持することをお勧めします。大量のデータが Oracle データベースに書き込まれると、リアルタイムデータ同期の速度がログ生成の速度よりも遅くなる可能性があります。これにより、データ同期中に問題が発生した場合にデータを追跡するのに十分な時間が得られます。アーカイブログファイルを分析して問題のトラブルシューティングを行い、データを回復できます。

• Data Integration のリアルタイムデータ同期ノードは、Oracle データベースのプライマリキーのないテーブルで truncate 操作を実行できません。リアルタイムデータ同期ノードは、logminer 操作を実行することで、プライマリキーのないテーブルのログを分析します。このプロセスでは、リアルタイムデータ同期ノードは rowid を使用して行を見つけます。truncate 操作が実行されると、テーブルの rowid 値が変更されます。これにより、リアルタイムデータ同期ノードの実行でエラーが発生します。

• 24 vCPU および 192 GiB メモリ の構成で DataWorks サーバーでリアルタイムデータ同期ノードを実行する場合、Oracle データベースサーバーの単一 CPU コアの使用率は、データベースのログの状態によって異なります。ほとんどのログが update ログではなく、同期ノードが毎秒約 30 ～ 50,000 件のデータレコードを処理できる場合、単一 CPU コアの使用率は 25% ～ 35% になります。ほとんどのログが update ログの場合、DataWorks サーバーはリアルタイムデータ同期中にパフォーマンスのボトルネックに遭遇する可能性があり、Oracle データベースサーバーの単一 CPU コアの使用率は 1% ～ 5% のみです。

手順

1. Oracle データベースのホワイトリストを設定します。

   排他的リソースグループが存在する VPC の CIDR ブロックを Oracle データベースのホワイトリストに追加します。

   1. Data Integration 専用のリソースグループの Elastic IP アドレス (EIP) と CIDR ブロックを表示して記録します。

      1. DataWorks コンソール にログインします。

      2. 左側のナビゲーションペインで、[リソースグループ] をクリックします。

      3. [専用リソースグループ] タブで、Data Integration 専用のリソースグループを見つけ、[アクション] 列の [情報を表示] をクリックします。

      4. [専用リソースグループ] ダイアログボックスで、[eipaddress] パラメーターと [CIDR ブロック] パラメーターの値を表示して記録します。

      5. [専用リソースグループ] タブで、Data Integration 専用のリソースグループを見つけ、[アクション] 列の [ネットワーク設定] をクリックします。

      6. 表示されるページの [VPC バインディング] タブで、Data Integration 専用のリソースグループが関連付けられている [vswitch の CIDR ブロック] を表示して記録します。

   2. 排他的リソースグループの Elastic IP アドレス (EIP) と CIDR ブロックを Oracle データベースのホワイトリストに追加します。

2. アカウントを作成し、必要な権限をアカウントに付与します。

   データベースにログインするためのアカウントを作成する必要があります。アカウントには、Oracle データベースに対する必要な権限が必要です。

   1. アカウントを作成します。

      詳細については、「Oracle データベースアカウントの作成」をご参照ください。

   2. アカウントに権限を付与します。

      次のステートメントを実行して、アカウントに権限を付与できます。特定のステートメントを実行するときは、データ同期用アカウント を作成したアカウントに置き換えます。

      grant create session to 'データ同期用アカウント';  // 同期アカウントにデータベースへのアクセスを承認します。
      grant connect to 'データ同期用アカウント';  // 同期アカウントにデータベースへの接続を承認します。
      grant select on nls_database_parameters to 'データ同期用アカウント';  // 同期アカウントに nls_database_parameters の設定のクエリを承認します。
      grant select on all_users to 'データ同期用アカウント';  // 同期アカウントにデータベース内のすべてのユーザーのクエリを承認します。
      grant select on all_objects to 'データ同期用アカウント';  // 同期アカウントにデータベース内のすべてのオブジェクトのクエリを承認します。
      grant select on DBA_MVIEWS to 'データ同期用アカウント';  // 同期アカウントにデータベースのマテリアライズドビューの確認を承認します。
      grant select on DBA_MVIEW_LOGS to 'データ同期用アカウント';  // 同期アカウントにデータベースのマテリアライズドビューログの表示を承認します。
      grant select on DBA_CONSTRAINTS to 'データ同期用アカウント';  // 同期アカウントにデータベースのすべてのテーブルの制約の表示を承認します。
      grant select on DBA_CONS_COLUMNS to 'データ同期用アカウント';  // 同期アカウントにデータベースのすべてのテーブルの指定された制約下にあるすべての列に関する情報の表示を承認します。
      grant select on all_tab_cols to 'データ同期用アカウント';  // 同期アカウントにデータベースのテーブル、ビュー、およびクラスターの列に関する情報の表示を承認します。
      grant select on sys.obj$ to 'データ同期用アカウント';  // 同期アカウントにデータベース内のオブジェクトの表示を承認します。 sys.obj$ は、データディクショナリテーブルに含まれるオブジェクトテーブルを示します。オブジェクトテーブルにはすべてのオブジェクトが含まれます。
      grant select on SYS.COL$ to 'データ同期用アカウント';  // 同期アカウントにデータベースのテーブルの列の定義の表示を承認します。 SYS.COL$ は、テーブルの列の定義を格納します。
      grant select on sys.USER$ to 'データ同期用アカウント';  // 同期アカウントにデータベースのシステムテーブルの表示を承認します。 sys.USER$ は、デフォルトのユーザーセッションサービスを示します。
      grant select on sys.cdef$ to 'データ同期用アカウント';  // 同期アカウントにデータベースのシステムテーブルの表示を承認します。
      grant select on sys.con$ to 'データ同期用アカウント';  // 同期アカウントにデータベースの制約の表示を承認します。 sys.con$ は制約を記録します。
      grant select on all_indexes to 'データ同期用アカウント';  // 同期アカウントにデータベースのすべてのインデックスの表示を承認します。
      grant select on v_$database to 'データ同期用アカウント';  // 同期アカウントにデータベースの v_$database ビューの確認を承認します。
      grant select on V_$ARCHIVE_DEST to 'データ同期用アカウント';  // 同期アカウントにデータベースの V_$ARCHIVE_DEST ビューの確認を承認します。
      grant select on v_$log to 'データ同期用アカウント';  // 同期アカウントにデータベースの v_$log ビューの確認を承認します。 v_$log は、制御ファイルに関するログインフォメーションを表示します。
      grant select on v_$logfile to 'データ同期用アカウント';  // 同期アカウントにデータベースの v_$logfile ビューの確認を承認します。 v_$logfile には、REDO ログファイルに関する情報が含まれています。
      grant select on v_$archived_log to 'データ同期用アカウント';  // 同期アカウントにデータベースの v$archived_log ビューの確認を承認します。 v$archived_log には、アーカイブログに関する情報が含まれています。
      grant select on V_$LOGMNR_CONTENTS to 'データ同期用アカウント';  // 同期アカウントにデータベースの V_$LOGMNR_CONTENTS ビューの確認を承認します。
      grant select on DUAL to 'データ同期用アカウント';   // 同期アカウントにデータベースの DUAL テーブルの表示を承認します。 DUAL は、SELECT 構文規則を含む仮想テーブルです。 Oracle では、DUAL テーブルには 1 つのレコードのみが保持されます。
      grant select on v_$parameter to 'データ同期用アカウント';  // 同期アカウントにデータベースの v_$parameter ビューの確認を承認します。 v$parameter は、データベースのパラメーターの値を格納する動的ディクショナリテーブルです。
      grant select any transaction to 'データ同期用アカウント';  // 同期アカウントにデータベースのトランザクションの表示を承認します。
      grant execute on SYS.DBMS_LOGMNR to 'データ同期用アカウント';  // 同期アカウントに LOGMNR ツールの使用を承認します。 LOGMNR ツールは、トランザクションの分析と失われたデータの取得に役立ちます。
      grant alter session to 'データ同期用アカウント';  // 同期アカウントにデータベースの接続構成の変更を承認します。
      grant select on dba_objects to 'データ同期用アカウント';  // 同期アカウントにデータベースのすべてのオブジェクトの表示を承認します。
      grant select on v_$standby_log to 'データ同期用アカウント';  // 同期アカウントにデータベースの v_$standby_log ビューの確認を承認します。 v_$standby_log には、セカンダリデータベースのアーカイブログが含まれています。
      grant select on v_$ARCHIVE_GAP to 'データ同期用アカウント';  // 同期アカウントに不足しているアーカイブログのクエリを承認します。

      完全なオフラインデータを同期するには、次のステートメントを実行して、すべてのテーブルのクエリ権限を同期アカウントに付与する必要もあります。

      grant select any table to 'データ同期用アカウント'; 

      Oracle 12c 以降では、次のステートメントを実行して、ログマイニング権限を同期アカウントに付与する必要があります。ログマイニング機能は、12c より前の Oracle バージョンに組み込まれています。これらのバージョンでは、ステートメントを実行する必要はありません。

      grant LOGMINING TO 'データ同期用アカウント';

3. アーカイブログファイルの生成と補足ロギングを有効にし、REDO ログファイルをきりかえます。

   プライマリデータベースにログインし、次の手順を実行します。

   1. 次の SQL ステートメントを実行して、アーカイブログファイルの生成を有効にします。

      shutdown immediate;
      startup mount;
      alter database archivelog;
      alter database open;

   2. 補足ロギングを有効にします。

      SQL ステートメント:

      alter database add supplemental log data(primary key) columns; // プライマリキー列の補足ロギングを有効にします。
      alter database add supplemental log data(unique) columns; // 一意のインデックス列の補足ロギングを有効にします。

   3. REDO ログファイルをきりかえます。

      補足ロギングを有効にした後、次のステートメントを複数回実行して REDO ログファイルをきりかえる必要があります。次のステートメントを 5 回実行することをお勧めします。

      alter system switch logfile;

      説明

      これにより、現在のログファイルがいっぱいになった後、データが次のログファイルに書き込まれるようになります。履歴操作に関するデータは失われません。これはデータの回復に役立ちます。

4. データベースの文字エンコード形式を確認します。

   次のステートメントを実行して、データベースの文字エンコード形式を確認します。

   select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

   • v$nls_parameters は、データベースのパラメーターの値を格納します。

   • NLS_CHARACTERSET はデータベース文字セットを示します。NLS_NCHAR_CHARACTERSET は各国語文字セットを示します。これらの 2 つのセットは、文字型のデータを格納するために使用されます。

   データベースにデータ同期でサポートされていない文字エンコード形式が含まれている場合は、データを同期する前に形式を変更してください。

5. データベースのテーブルのデータ型を確認します。

   SELECT ステートメントを実行して、データベースのテーブルのデータ型をクエリできます。'tablename' テーブルのデータ型をクエリするために実行されるステートメントの例:

   select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

   • COLUMN_NAME: 列の名前。

   • DATA_TYPE: 列のデータ型。

   • all_tab_columns: データベースのテーブルのすべての列に関する情報を格納するビュー。

   • TABLE_NAME: クエリのテーブルの名前。前のステートメントを実行するときは、'tablename' をクエリのテーブルの名前に置き換えます。

   select * from 'tablename'; ステートメントを実行して、目的のテーブルに関する情報をクエリし、データ型を取得することもできます。

   テーブルにこれらのデータ型のいずれかが含まれている場合は、リアルタイム同期ソリューションリストからテーブルを削除するか、データを同期する前にデータ型を変更してください。