DataWorks:Origen de datos Oracle

Lectura y escritura de datos por lotes

Oracle Writer utiliza el controlador ojdbc6-12.1.1.jar.

Lectura de datos en tiempo real

• Compatible:

  Bases de datos 11g R2 and above, 12c non cdb, 18c non cdb, 19c non cdb o 19c cdb.

• No compatible:

  Bases de datos 12c cbd y 18c cbd.

• Cuando se utiliza Oracle como origen de una tarea de sincronización en tiempo real de base de datos completa, debe habilitar la función de registro de archivado. Para obtener más información, consulte Oracle environment preparation.

Una base de datos contenedor (CDB) es una función introducida en Oracle 12c y versiones posteriores. Está diseñada para alojar varias bases de datos conectables (PDB).

Verificar la versión de la base de datos Oracle

Las versiones de base de datos Oracle compatibles varían según el escenario de sincronización. Antes de sincronizar datos, compruebe que su versión de base de datos Oracle sea compatible.

1. Puede ejecutar cualquiera de las siguientes sentencias para comprobar la versión de la base de datos Oracle.

   • Sentencia 1:

     select * from v$version;

   • Sentencia 2:

     select version from v$instance;

2. Si la versión de la base de datos Oracle es 12c o 18c, debe ejecutar la siguiente sentencia para comprobar si la base de datos es una base de datos cdb. Las tareas de sincronización en tiempo real de Data Integration no admiten bases de datos Oracle 12c y 18c cdb.

   select name,cdb,open_mode,con_id from v$database;

Crear una cuenta y configurar permisos de cuenta

Debe planificar una cuenta de inicio de sesión de base de datos para operaciones posteriores. Esta cuenta debe tener los permisos de operación de Oracle obligatorios.

1. Cree una cuenta. Para obtener más información, consulte CREATE USER.

2. Configure los permisos.

   Puede ejecutar los siguientes comandos para otorgar permisos a la cuenta. En las siguientes sentencias, reemplace 'sync_account' con la cuenta que creó.

   grant create session to 'sync_account';  //Grant the sync account permission to log in to the database.
   grant connect to 'sync_account';  //Grant the sync account permission to connect to the database.
   grant select on nls_database_parameters to 'sync_account';  //Grant the sync account permission to query the nls_database_parameters system configuration of the database.
   grant select on all_users to 'sync_account';  //Grant the sync account permission to query all users in the database.
   grant select on all_objects to 'sync_account';  //Grant the sync account permission to query all objects in the database.
   grant select on DBA_MVIEWS to 'sync_account';  //Grant the sync account permission to view materialized views of the database.
   grant select on DBA_MVIEW_LOGS to 'sync_account';  //Grant the sync account permission to view materialized view logs of the database.
   grant select on DBA_CONSTRAINTS to 'sync_account';  //Grant the sync account permission to view constraint information of all tables in the database.
   grant select on DBA_CONS_COLUMNS to 'sync_account';  //Grant the sync account permission to view information about all columns in specified constraints of all tables in the database.
   grant select on all_tab_cols to 'sync_account';  //Grant the sync account permission to view column information of tables, views, and clusters in the database.
   grant select on sys.obj$ to 'sync_account';  //Grant the sync account permission to view objects in the database. The sys.obj$ table is the base object table in the Oracle data dictionary, storing all Oracle objects.
   grant select on SYS.COL$ to 'sync_account';  //Grant the sync account permission to view column definition information of database tables. SYS.COL$ stores column definition information of tables.
   grant select on sys.USER$ to 'sync_account';  //Grant the sync account permission to view database system tables. sys.USER$ is the default service for user sessions.
   grant select on sys.cdef$ to 'sync_account';  //Grant the sync account permission to view database system tables.
   grant select on sys.con$ to 'sync_account';  //Grant the sync account permission to view constraint information of the database. sys.con$ stores Oracle constraint information.
   grant select on all_indexes to 'sync_account';  //Grant the sync account permission to view all indexes of the database.
   grant select on v_$database to 'sync_account';  //Grant the sync account permission to view the v_$database view of the database.
   grant select on V_$ARCHIVE_DEST to 'sync_account';  //Grant the sync account permission to view the V_$ARCHIVE_DEST view of the database.
   grant select on v_$log to 'sync_account';  //Grant the sync account permission to view the v_$log view of the database. v_$log displays log file information from the control file.
   grant select on v_$logfile to 'sync_account';  //Grant the sync account permission to view the v_$logfile view of the database. v_$logfile contains information about redo log files.
   grant select on v_$archived_log to 'sync_account';  //Grant the sync account permission to view the v$archived_log view of the database. v$archived_log contains information about archived logs.
   grant select on V_$LOGMNR_CONTENTS to 'sync_account';  //Grant the sync account permission to view the V_$LOGMNR_CONTENTS view of the database.
   grant select on DUAL to 'sync_account';   //Grant the sync account permission to view the DUAL table of the database. DUAL is a virtual table used to conform to the SELECT syntax rules. Oracle's DUAL table contains only one record.
   grant select on v_$parameter to 'sync_account';  //Grant the sync account permission to view the v_$parameter view of the database. v$parameter is an Oracle dynamic dictionary table that stores database parameter settings.
   grant select any transaction to 'sync_account';  //Grant the sync account permission to view any transaction in the database.
   grant execute on SYS.DBMS_LOGMNR to 'sync_account';  //Grant the sync account permission to use the LogMiner tool of the database. The LogMiner tool helps you analyze transactions and recover lost data.
   grant alter session to 'sync_account';  //Grant the sync account permission to alter database sessions.
   grant select on dba_objects to 'sync_account';  //Grant the sync account permission to view all objects in the database.
   grant select on v_$standby_log to 'sync_account';  //Grant the sync account permission to view the v_$standby_log view of the database. v_$standby_log contains archived logs of the standby database.
   grant select on v_$ARCHIVE_GAP to 'sync_account';  //Grant the sync account permission to query missing archived logs.
   grant select on sys.ICOL$ to 'sync_account';  //Grant the sync account permission to view objects in the database. The sys.obj$ table is the base object table in the Oracle data dictionary, storing all Oracle objects.
   grant select on V_$THREAD to 'sync_account';  //Grant the sync account permission to view instance thread information. The V_$THREAD view is a thread status table in Oracle dynamic performance views, storing thread status information of each instance in a RAC cluster, used to determine instance status and log sources during incremental parsing.

   Si desea utilizar la sincronización completa por lotes, ejecute el siguiente comando para otorgar a la cuenta de sincronización el permiso de consulta en todas las tablas.

   grant select any table to 'sync_account'; 

   Para Oracle 12c y versiones posteriores, ejecute el siguiente comando para otorgar a la cuenta de sincronización el permiso para realizar minería de registros. Para versiones anteriores a Oracle 12c, la función de minería de registros está integrada y este comando no es necesario.

   grant LOGMINING TO 'sync_account';

Habilitar registro de archivado, registro suplementario y cambiar archivos de registro Redo

1. Habilite el registro de archivado ejecutando las siguientes sentencias SQL.

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Habilite el registro suplementario.

   Puede habilitar el registro suplementario adecuado según sus necesidades ejecutando las siguientes sentencias SQL.

   //To capture complete data changes, real-time synchronization requires enabling supplemental logging. You can enable it at the database level using the following SQL statements:
   alter database add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns of the database.
   alter database add supplemental log data(unique) columns; //Enable supplemental logging for unique index columns of the database.
   
   //You can also enable it at the table level:
   alter schema.table add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns of the specified table.
   alter schema.table add supplemental log data(unique) columns; //Enable supplemental logging for unique index columns of the specified table.

3. Cambie los archivos de registro Redo.

   Después de habilitar el registro suplementario, ejecute el siguiente comando varias veces (se recomienda ejecutarlo 5 veces) para cambiar los archivos de registro Redo.

   alter system switch logfile;

   Nota

   Ejecutar el comando anterior varias veces para cambiar los archivos de registro Redo garantiza que el archivo de registro actual pueda cambiarse al siguiente archivo de registro cuando esté lleno. Esto asegura que los registros de operación no se pierdan y puedan utilizarse para la recuperación posterior de datos.

Comprobar la codificación de caracteres de la base de datos

Ejecute el siguiente comando en la base de datos para comprobar la codificación de caracteres de la base de datos.

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters almacena la configuración de los parámetros de la base de datos.

• NLS_CHARACTERSET y NLS_NCHAR_CHARACTERSET especifican el conjunto de caracteres de la base de datos y el conjunto de caracteres nacional, que indican los tipos de almacenamiento de las dos categorías principales de datos de caracteres en Oracle.

Data Integration solo admite los formatos de codificación UTF8, AL32UTF8, AL16UTF16 y ZHS16GBK. Si la base de datos contiene codificaciones de caracteres no compatibles, modifíquelas antes de sincronizar datos.

Comprobar los tipos de datos de las tablas de la base de datos

Puede ejecutar una sentencia SELECT para consultar los tipos de datos de las tablas de la base de datos. El siguiente ejemplo muestra cómo ver los tipos de datos de una tabla llamada 'tablename'.

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME: El nombre de la columna de la tabla.

• DATA_TYPE: El tipo de datos de la columna.

• all_tab_columns: Una vista que almacena información sobre todas las columnas de las tablas de la base de datos.

• TABLE_NAME: El nombre de la tabla a consultar. Reemplace 'tablename' con el nombre real de la tabla cuando ejecute la sentencia.

También puede ejecutar select * from 'tablename'; para consultar toda la información sobre una tabla y obtener los tipos de datos.

Configuración de tarea de sincronización por lotes de tabla única

• Para el procedimiento, consulte Configure a batch synchronization task in wizard mode y Configure a batch synchronization task in script mode.

• Para los parámetros completos y la demostración de script de la configuración en modo script, consulte Appendix: Script demo and parameter description.

Configuración de tarea de sincronización en tiempo real de tabla única

Para el procedimiento, consulte Configure a real-time synchronization task.

Configuración de sincronización por lotes de base de datos completa, completa e incremental (en tiempo real) de base de datos completa y fragmentada (en tiempo real) de base de datos completa

Para el procedimiento, consulte Configure a full-database synchronization task.

Configurar una tarea de sincronización por lotes mediante el editor de código

Si desea configurar una tarea de sincronización por lotes mediante el editor de código, debe configurar los parámetros relacionados en el script según los requisitos unificados de formato de script. Para obtener más información, consulte Script mode configuration. La siguiente información describe los parámetros que debe configurar para los orígenes de datos cuando configura una tarea de sincronización por lotes mediante el editor de código.

Demostración de script de Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parámetros del script de Reader

Demostración de script de Writer

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"oracle",// The plug-in name. "parameter":{ "postSql":[],// The SQL statements to run after the data synchronization task is complete. "datasource":"", "session":[],// The database connection session parameters. "column":[// The columns. "id", "name" ], "encoding":"UTF-8",// The encoding format. "batchSize":1024,// The number of records to commit in each batch. "table":"",// The table name. "preSql":[]// The SQL statements to run before the data synchronization task starts. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// When throttle is set to false, the mbps parameter does not take effect and throttling is disabled. When throttle is set to true, throttling is enabled. "concurrent":1, // The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parámetros del script de Writer