DataWorks:Fonte de dados Oracle

Leitura e gravação de dados em lote

O Oracle Writer utiliza o driver ojdbc6-12.1.1.jar.

Leitura de dados em tempo real

• Compatível:

  Bancos de dados 11g R2 and above, 12c non cdb, 18c non cdb, 19c non cdb ou 19c cdb.

• Não compatível:

  Bancos de dados 12c cbd e 18c cbd.

• Ao usar o Oracle como source em uma tarefa de sincronização de banco de dados completo em tempo real, ative o recurso de log de arquivamento. Para mais informações, consulte Preparação do ambiente Oracle.

Um banco de dados contêiner (CDB) é um recurso introduzido no Oracle 12c e versões posteriores, projetado para hospedar vários bancos de dados conectáveis (PDBs).

Verifique a versão do banco de dados Oracle

As versões de banco de dados Oracle compatíveis variam conforme o cenário de sincronização. Antes de iniciar, verifique se a versão do seu banco de dados Oracle é compatível.

1. Execute uma das instruções a seguir para verificar a versão do banco de dados Oracle.

   • Instrução 1:

     select * from v$version;

   • Instrução 2:

     select version from v$instance;

2. Se a versão do banco de dados Oracle for 12c ou 18c, execute a instrução abaixo para verificar se o banco é do tipo cdb. Tarefas de sincronização em tempo real do Data Integration não suportam bancos de dados Oracle 12c e 18c cdb.

   select name,cdb,open_mode,con_id from v$database;

Crie uma conta e configure as permissões

Planeje uma conta de login no banco de dados para as operações subsequentes. Essa conta deve ter as permissões necessárias para operações no Oracle.

1. Crie uma conta. Para mais informações, consulte CREATE USER.

2. Configure as permissões.

   Execute os comandos a seguir para conceder permissões à conta. Nas instruções abaixo, substitua 'sync_account' pela conta criada.

   grant create session to 'sync_account';  //Grant the sync account permission to log in to the database.
   grant connect to 'sync_account';  //Grant the sync account permission to connect to the database.
   grant select on nls_database_parameters to 'sync_account';  //Grant the sync account permission to query the nls_database_parameters system configuration of the database.
   grant select on all_users to 'sync_account';  //Grant the sync account permission to query all users in the database.
   grant select on all_objects to 'sync_account';  //Grant the sync account permission to query all objects in the database.
   grant select on DBA_MVIEWS to 'sync_account';  //Grant the sync account permission to view materialized views of the database.
   grant select on DBA_MVIEW_LOGS to 'sync_account';  //Grant the sync account permission to view materialized view logs of the database.
   grant select on DBA_CONSTRAINTS to 'sync_account';  //Grant the sync account permission to view constraint information of all tables in the database.
   grant select on DBA_CONS_COLUMNS to 'sync_account';  //Grant the sync account permission to view information about all columns in specified constraints of all tables in the database.
   grant select on all_tab_cols to 'sync_account';  //Grant the sync account permission to view column information of tables, views, and clusters in the database.
   grant select on sys.obj$ to 'sync_account';  //Grant the sync account permission to view objects in the database. The sys.obj$ table is the base object table in the Oracle data dictionary, storing all Oracle objects.
   grant select on SYS.COL$ to 'sync_account';  //Grant the sync account permission to view column definition information of database tables. SYS.COL$ stores column definition information of tables.
   grant select on sys.USER$ to 'sync_account';  //Grant the sync account permission to view database system tables. sys.USER$ is the default service for user sessions.
   grant select on sys.cdef$ to 'sync_account';  //Grant the sync account permission to view database system tables.
   grant select on sys.con$ to 'sync_account';  //Grant the sync account permission to view constraint information of the database. sys.con$ stores Oracle constraint information.
   grant select on all_indexes to 'sync_account';  //Grant the sync account permission to view all indexes of the database.
   grant select on v_$database to 'sync_account';  //Grant the sync account permission to view the v_$database view of the database.
   grant select on V_$ARCHIVE_DEST to 'sync_account';  //Grant the sync account permission to view the V_$ARCHIVE_DEST view of the database.
   grant select on v_$log to 'sync_account';  //Grant the sync account permission to view the v_$log view of the database. v_$log displays log file information from the control file.
   grant select on v_$logfile to 'sync_account';  //Grant the sync account permission to view the v_$logfile view of the database. v_$logfile contains information about redo log files.
   grant select on v_$archived_log to 'sync_account';  //Grant the sync account permission to view the v$archived_log view of the database. v$archived_log contains information about archived logs.
   grant select on V_$LOGMNR_CONTENTS to 'sync_account';  //Grant the sync account permission to view the V_$LOGMNR_CONTENTS view of the database.
   grant select on DUAL to 'sync_account';   //Grant the sync account permission to view the DUAL table of the database. DUAL is a virtual table used to conform to the SELECT syntax rules. Oracle's DUAL table contains only one record.
   grant select on v_$parameter to 'sync_account';  //Grant the sync account permission to view the v_$parameter view of the database. v$parameter is an Oracle dynamic dictionary table that stores database parameter settings.
   grant select any transaction to 'sync_account';  //Grant the sync account permission to view any transaction in the database.
   grant execute on SYS.DBMS_LOGMNR to 'sync_account';  //Grant the sync account permission to use the LogMiner tool of the database. The LogMiner tool helps you analyze transactions and recover lost data.
   grant alter session to 'sync_account';  //Grant the sync account permission to alter database sessions.
   grant select on dba_objects to 'sync_account';  //Grant the sync account permission to view all objects in the database.
   grant select on v_$standby_log to 'sync_account';  //Grant the sync account permission to view the v_$standby_log view of the database. v_$standby_log contains archived logs of the standby database.
   grant select on v_$ARCHIVE_GAP to 'sync_account';  //Grant the sync account permission to query missing archived logs.
   grant select on sys.ICOL$ to 'sync_account';  //Grant the sync account permission to view objects in the database. The sys.obj$ table is the base object table in the Oracle data dictionary, storing all Oracle objects.
   grant select on V_$THREAD to 'sync_account';  //Grant the sync account permission to view instance thread information. The V_$THREAD view is a thread status table in Oracle dynamic performance views, storing thread status information of each instance in a RAC cluster, used to determine instance status and log sources during incremental parsing.

   Para utilizar a sincronização completa em lote, execute o comando a fim de conceder à conta de sincronização permissão de consulta em todas as tabelas.

   grant select any table to 'sync_account'; 

   No Oracle 12c e versões posteriores, execute o comando abaixo para conceder à conta de sincronização permissão para realizar mineração de logs. Em versões anteriores ao Oracle 12c, esse recurso já vem integrado e o comando não é necessário.

   grant LOGMINING TO 'sync_account';

Ative o log de arquivamento, o log suplementar e alterne arquivos de Redo log

1. Ative o log de arquivamento executando as instruções SQL a seguir.

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Ative o log suplementar.

   Ative o log suplementar adequado às suas necessidades executando as instruções SQL abaixo.

   //To capture complete data changes, real-time synchronization requires enabling supplemental logging. You can enable it at the database level using the following SQL statements:
   alter database add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns of the database.
   alter database add supplemental log data(unique) columns; //Enable supplemental logging for unique index columns of the database.
   
   //You can also enable it at the table level:
   alter schema.table add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns of the specified table.
   alter schema.table add supplemental log data(unique) columns; //Enable supplemental logging for unique index columns of the specified table.

3. Alterne os arquivos de Redo log.

   Após ativar o log suplementar, execute o comando a seguir várias vezes (recomendamos 5 vezes) para alternar os arquivos de Redo log.

   alter system switch logfile;

   Nota

   Executar o comando anterior múltiplas vezes garante que o arquivo de log atual seja alternado para o próximo ao atingir sua capacidade. Isso evita a perda de registros de operação e permite sua utilização na recuperação de dados subsequente.

Verifique a codificação de caracteres do banco de dados

Execute o comando abaixo no banco de dados para verificar a codificação de caracteres.

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• A view v$nls_parameters armazena as configurações dos parâmetros do banco de dados.

• Os parâmetros NLS_CHARACTERSET e NLS_NCHAR_CHARACTERSET definem o conjunto de caracteres do banco e o conjunto de caracteres nacional, indicando os tipos de armazenamento das duas principais categorias de dados de caracteres no Oracle.

O Data Integration suporta apenas os formatos de codificação UTF8, AL32UTF8, AL16UTF16 e ZHS16GBK. Caso o banco de dados contenha codificações não suportadas, modifique-as antes de sincronizar os dados.

Verifique os tipos de dados das tabelas do banco de dados

Utilize uma instrução SELECT para consultar os tipos de dados das tabelas. O exemplo a seguir demonstra como visualizar os tipos de dados de uma tabela chamada 'tablename'.

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME: Nome da coluna da tabela.

• DATA_TYPE: Tipo de dados da coluna.

• all_tab_columns: View que armazena informações sobre todas as colunas das tabelas do banco de dados.

• TABLE_NAME: Nome da tabela a ser consultada. Substitua 'tablename' pelo nome real da tabela ao executar a instrução.

Também é possível executar select * from 'tablename'; para consultar todas as informações de uma tabela e obter os tipos de dados.

Configuração de tarefa de sincronização em lote de tabela única

• Para o procedimento, consulte Configurar uma tarefa de sincronização em lote no modo assistente e Configurar uma tarefa de sincronização em lote no modo script.

• Para obter os parâmetros completos e o exemplo de script da configuração no modo script, consulte Apêndice: Exemplo de script e descrição de parâmetros.

Configuração de tarefa de sincronização em tempo real de tabela única

Para o procedimento, consulte Configurar uma tarefa de sincronização em tempo real.

Configuração de sincronização em lote de banco completo, sincronização completa e incremental de banco completo (tempo real) e sincronização fragmentada de banco completo (tempo real)

Para o procedimento, consulte Configurar uma tarefa de sincronização de banco de dados completo.

Configurar uma tarefa de sincronização em lote usando o editor de código

Para configurar uma tarefa de sincronização em lote usando o editor de código, defina os parâmetros relevantes no script conforme os requisitos unificados de formato. Para mais informações, consulte Configuração no modo script. As informações a seguir descrevem os parâmetros obrigatórios para fontes de dados ao configurar uma tarefa de sincronização em lote via editor de código.

Exemplo de script do Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parâmetros do script do Reader

Exemplo de script do Writer

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"oracle",// The plug-in name. "parameter":{ "postSql":[],// The SQL statements to run after the data synchronization task is complete. "datasource":"", "session":[],// The database connection session parameters. "column":[// The columns. "id", "name" ], "encoding":"UTF-8",// The encoding format. "batchSize":1024,// The number of records to commit in each batch. "table":"",// The table name. "preSql":[]// The SQL statements to run before the data synchronization task starts. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// When throttle is set to false, the mbps parameter does not take effect and throttling is disabled. When throttle is set to true, throttling is enabled. "concurrent":1, // The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parâmetros do script do Writer