DataWorks:Fonte de dados Oracle

Leituras e gravações em lote

O Oracle Writer usa o driver ojdbc6-12.1.1.jar.

Leituras em tempo real

• Com suporte:

  Bancos de dados 11g R2 and later, 12c non cdb, 18c non cdb, 19c non cdb ou 19c cdb.

• Sem suporte:

  Bancos de dados 12c cbd e 18c cbd.

• Quando o Oracle for a origem de uma tarefa em tempo real de banco de dados completo, ative o log de arquivamento. Para obter detalhes, consulte Prepare the Oracle environment.

Um banco de dados de contêiner (CDB) é um recurso do Oracle 12c e versões posteriores que contém vários bancos de dados plugáveis (PDBs).

Verifique a versão do banco de dados Oracle

As versões do Oracle com suporte variam de acordo com o cenário de sincronização. Verifique se a sua versão tem suporte.

1. Use uma destas instruções para verificar a versão:

   • Instrução 1:

     select * from v$version;

   • Instrução 2:

     select version from v$instance;

2. Se a versão do Oracle for 12c ou 18c, use esta instrução para verificar se é um banco de dados cdb. A sincronização em tempo real do Data Integration atualmente não oferece suporte às versões 12c e 18c de bancos de dados Oracle cdb.

   select name,cdb,open_mode,con_id from v$database;

Crie uma conta e conceda permissões

Planeje uma conta de login do banco de dados para operações futuras. Ela requer as permissões relevantes do Oracle.

1. Crie uma conta. Para o procedimento, consulte Criar uma conta Oracle.

2. Conceda permissões.

   Use estes comandos para conceder permissões. Substitua 'sync_user' pela conta criada acima.

   grant create session to 'sync_user';  //Allow the synchronization account to log on to the database.
   grant connect to 'sync_user';  //Allow the synchronization account to connect to the database.
   grant select on nls_database_parameters to 'sync_user';  //Allow the synchronization account to query the nls_database_parameters system settings.
   grant select on all_users to 'sync_user';  //Allow the synchronization account to query all database users.
   grant select on all_objects to 'sync_user';  //Allow the synchronization account to query all database objects.
   grant select on DBA_MVIEWS to 'sync_user';  //Allow the synchronization account to view materialized views.
   grant select on DBA_MVIEW_LOGS to 'sync_user';  //Allow the synchronization account to view materialized view logs.
   grant select on DBA_CONSTRAINTS to 'sync_user';  //Allow the synchronization account to view constraints on all database tables.
   grant select on DBA_CONS_COLUMNS to 'sync_user';  //Allow the synchronization account to view columns in specified constraints on all database tables.
   grant select on all_tab_cols to 'sync_user';  //Allow the synchronization account to view column information for tables, views, and clusters.
   grant select on sys.obj$ to 'sync_user';  //Allow the synchronization account to view objects. sys.obj$ is the Oracle dictionary base table containing all objects.
   grant select on SYS.COL$ to 'sync_user';  //Allow the synchronization account to view column definitions. SYS.COL$ stores table column definitions.
   grant select on sys.USER$ to 'sync_user';  //Allow the synchronization account to view system tables. sys.USER$ is the default service for user sessions.
   grant select on sys.cdef$ to 'sync_user';  //Allow the synchronization account to view system tables.
   grant select on sys.con$ to 'sync_user';  //Allow the synchronization account to view constraints. sys.con$ records Oracle constraint information.
   grant select on all_indexes to 'sync_user';  //Allow the synchronization account to view all indexes.
   grant select on v_$database to 'sync_user';  //Allow the synchronization account to view v_$database.
   grant select on V_$ARCHIVE_DEST to 'sync_user';  //Allow the synchronization account to view V_$ARCHIVE_DEST.
   grant select on v_$log to 'sync_user';  //Allow the synchronization account to view v_$log, which shows log file information in the control file.
   grant select on v_$logfile to 'sync_user';  //Allow the synchronization account to view v_$logfile, which contains redo log file information.
   grant select on v_$archived_log to 'sync_user';  //Allow the synchronization account to view v$archived_log, which contains archive log information.
   grant select on V_$LOGMNR_CONTENTS to 'sync_user';  //Allow the synchronization account to view V_$LOGMNR_CONTENTS.
   grant select on DUAL to 'sync_user';   //Allow the synchronization account to view DUAL, a one-row virtual table used in SELECT syntax.
   grant select on v_$parameter to 'sync_user';  //Allow the synchronization account to view v_$parameter, a dynamic dictionary view of database parameter values.
   grant select any transaction to 'sync_user';  //Allow the synchronization account to view any transaction.
   grant execute on SYS.DBMS_LOGMNR to 'sync_user';  //Allow the synchronization account to use LogMiner for transaction analysis and data recovery.
   grant alter session to 'sync_user';  //Allow the synchronization account to alter the database session.
   grant select on dba_objects to 'sync_user';  //Allow the synchronization account to view all database objects.
   grant select on v_$standby_log to 'sync_user';  //Allow the synchronization account to view v_$standby_log, which contains standby archive log information.
   grant select on v_$ARCHIVE_GAP to 'sync_user';  //Allow the synchronization account to query missing archive logs.
   grant select on sys.ICOL$ to 'sync_user';  //Allow the synchronization account to view objects. sys.obj$ is the Oracle dictionary base table containing all objects.
   grant select on V_$THREAD to 'sync_user';  //Allow the synchronization account to view instance thread information. V_$THREAD is an Oracle dynamic performance view of RAC instance thread status used to identify instance state and log sources for incremental parsing.

   Para a sincronização em lote de dados completos, conceda também à conta permissão para consultar todas as tabelas:

   grant select any table to 'sync_user';

   O Oracle 12c e versões posteriores exigem este comando para permitir que a conta use o LogMiner. Versões anteriores fornecem o LogMiner integrado e não o exigem.

   grant LOGMINING TO 'sync_user';

Ative o log de arquivamento e suplementar e alterne arquivos de redo log

1. Ative o log de arquivamento:

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Ative o log suplementar.

   Escolha o log suplementar conforme a necessidade. SQL de exemplo:

   //Enable supplemental logging to capture complete changes for real-time synchronization. For database-level logging, run:
   alter database add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns in the database.
   alter database add supplemental log data(unique) columns; //Enable supplemental logging for unique-index columns in the database.
   
   //You can instead enable it at the table level:
   alter schema.table add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns in the specified table.
   alter schema.table add supplemental log data(unique) columns; //Enable supplemental logging for unique-index columns in the specified table.

3. Alterne arquivos de redo log.

   Após ativar o log suplementar, execute o comando a seguir várias vezes (geralmente recomenda-se cinco vezes) para alternar os arquivos de redo log.

   alter system switch logfile;

   Nota

   A alternância múltipla garante que o arquivo de log atual seja substituído após ficar cheio, preservando os registros de operação para recuperação posterior.

Verifique a codificação de caracteres do banco de dados

Execute o comando a seguir no banco de dados para verificar a codificação de caracteres:

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• O v$nls_parameters armazena as configurações de parâmetros do banco de dados.

• O NLS_CHARACTERSET e o NLS_NCHAR_CHARACTERSET são os conjuntos de caracteres do banco de dados e nacionais, que indicam os formatos de armazenamento para duas categorias de dados de caracteres do Oracle.

Atualmente, o Data Integration oferece suporte a UTF8, AL32UTF8, AL16UTF16 e ZHS16GBK na sincronização de dados. Altere as codificações de caracteres sem suporte antes da sincronização.

Verifique os tipos de dados das tabelas

Use uma instrução SQL SELECT para consultar os tipos das colunas da tabela. Para inspecionar 'tablename', execute:

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME: Nome da coluna da tabela.

• DATA_TYPE: Tipo de dados da coluna.

• all_tab_columns: View que contém informações sobre todas as colunas da tabela.

• TABLE_NAME: Nome da tabela de destino. Substitua 'tablename' pelo nome real da tabela na instrução.

Também é possível executar select * from 'tablename'; para consultar todos os dados e obter os tipos da tabela de destino.

Configure uma tarefa de sincronização em lote de tabela única

• Para o procedimento, consulte Codeless UI configuration e Script mode configuration.

• Para todos os parâmetros do modo de script e scripts de exemplo, consulte Appendix: Sample scripts and parameters.

Configure uma tarefa de sincronização em tempo real de tabela única

Siga o procedimento descrito em Configure a real-time synchronization task (legacy).

Configure a sincronização em lote de banco de dados completo, em tempo real completo e incremental, e em tempo real de tabela fragmentada

O procedimento está detalhado em Configure real-time full-database synchronization tasks.

Configure uma tarefa de sincronização em lote usando o editor de código

Para configurar uma tarefa de sincronização em lote no editor de código, configure os parâmetros relacionados no script de acordo com os requisitos unificados de formato. Para obter mais informações, consulte Script mode configuration. As informações a seguir descrevem os parâmetros obrigatórios para as fontes de dados ao configurar uma tarefa de sincronização em lote no editor de código.

Script de exemplo do Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parâmetros do script do Reader

Script de exemplo do Writer

{ "type":"job", "version":"2.0",//Version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"oracle",//Plug-in name. "parameter":{ "postSql":[],//SQL statements to run after synchronization. "datasource":"", "session":[],//Database connection session parameters. "column":[//Fields. "id", "name" ], "encoding":"UTF-8",//Encoding format. "batchSize":1024,//Number of records submitted in one batch. "table":"",//Table name. "preSql":[]//SQL statements to run before synchronization. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"//Number of error records. }, "speed":{ "throttle":true,//When throttle is false, mbps is ignored and throughput is unlimited; when true, throughput is limited. "concurrent":1, //Job concurrency. "mbps":"12"//Rate limit. Here, 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parâmetros do script do Writer