DataWorks:Source de données Oracle

Lecture et écriture de données par lot

Oracle Writer utilise le pilote ojdbc6-12.1.1.jar.

Lecture de données en temps réel

• Prise en charge :

  Bases de données 11g R2 and above, 12c non cdb, 18c non cdb, 19c non cdb ou 19c cdb.

• Absence de prise en charge :

  Bases de données 12c cbd et 18c cbd.

• Lorsque Oracle sert de source pour une tâche de synchronisation en temps réel de l'intégralité de la base de données, vous devez activer la fonctionnalité de journal d'archivage. Pour plus d'informations, consultez la rubrique Préparation de l'environnement Oracle.

La base de données conteneur (CDB) est une fonctionnalité introduite dans Oracle 12c et les versions ultérieures. Elle est conçue pour héberger plusieurs bases de données enfichables (PDB).

Vérifiez la version de la base de données Oracle

Les versions prises en charge de la base de données Oracle varient selon le scénario de synchronisation. Avant de procéder à la synchronisation des données, vérifiez que votre version de base de données Oracle est compatible.

1. Exécutez l'une des requêtes suivantes pour vérifier la version de la base de données Oracle.

   • Requête 1 :

     select * from v$version;

   • Requête 2 :

     select version from v$instance;

2. Si la version de la base de données Oracle est 12c ou 18c, vous devez exécuter la requête suivante pour déterminer si la base de données est une base cdb. Les tâches de synchronisation en temps réel de Data Integration ne prennent pas en charge les bases de données Oracle 12c et 18c de type cdb.

   select name,cdb,open_mode,con_id from v$database;

Créer un compte et configurer les autorisations

Vous devez prévoir un compte de connexion à la base de données pour les opérations ultérieures. Ce compte doit disposer des autorisations d'opération Oracle requises.

1. Créez un compte. Pour plus d'informations, consultez CREATE USER.

2. Configurez les permissions.

   Exécutez les commandes suivantes pour accorder des autorisations au compte. Dans les instructions ci-dessous, remplacez 'sync_account' par le compte que vous avez créé.

   grant create session to 'sync_account';  //Grant the sync account permission to log in to the database.
   grant connect to 'sync_account';  //Grant the sync account permission to connect to the database.
   grant select on nls_database_parameters to 'sync_account';  //Grant the sync account permission to query the nls_database_parameters system configuration of the database.
   grant select on all_users to 'sync_account';  //Grant the sync account permission to query all users in the database.
   grant select on all_objects to 'sync_account';  //Grant the sync account permission to query all objects in the database.
   grant select on DBA_MVIEWS to 'sync_account';  //Grant the sync account permission to view materialized views of the database.
   grant select on DBA_MVIEW_LOGS to 'sync_account';  //Grant the sync account permission to view materialized view logs of the database.
   grant select on DBA_CONSTRAINTS to 'sync_account';  //Grant the sync account permission to view constraint information of all tables in the database.
   grant select on DBA_CONS_COLUMNS to 'sync_account';  //Grant the sync account permission to view information about all columns in specified constraints of all tables in the database.
   grant select on all_tab_cols to 'sync_account';  //Grant the sync account permission to view column information of tables, views, and clusters in the database.
   grant select on sys.obj$ to 'sync_account';  //Grant the sync account permission to view objects in the database. The sys.obj$ table is the base object table in the Oracle data dictionary, storing all Oracle objects.
   grant select on SYS.COL$ to 'sync_account';  //Grant the sync account permission to view column definition information of database tables. SYS.COL$ stores column definition information of tables.
   grant select on sys.USER$ to 'sync_account';  //Grant the sync account permission to view database system tables. sys.USER$ is the default service for user sessions.
   grant select on sys.cdef$ to 'sync_account';  //Grant the sync account permission to view database system tables.
   grant select on sys.con$ to 'sync_account';  //Grant the sync account permission to view constraint information of the database. sys.con$ stores Oracle constraint information.
   grant select on all_indexes to 'sync_account';  //Grant the sync account permission to view all indexes of the database.
   grant select on v_$database to 'sync_account';  //Grant the sync account permission to view the v_$database view of the database.
   grant select on V_$ARCHIVE_DEST to 'sync_account';  //Grant the sync account permission to view the V_$ARCHIVE_DEST view of the database.
   grant select on v_$log to 'sync_account';  //Grant the sync account permission to view the v_$log view of the database. v_$log displays log file information from the control file.
   grant select on v_$logfile to 'sync_account';  //Grant the sync account permission to view the v_$logfile view of the database. v_$logfile contains information about redo log files.
   grant select on v_$archived_log to 'sync_account';  //Grant the sync account permission to view the v$archived_log view of the database. v$archived_log contains information about archived logs.
   grant select on V_$LOGMNR_CONTENTS to 'sync_account';  //Grant the sync account permission to view the V_$LOGMNR_CONTENTS view of the database.
   grant select on DUAL to 'sync_account';   //Grant the sync account permission to view the DUAL table of the database. DUAL is a virtual table used to conform to the SELECT syntax rules. Oracle's DUAL table contains only one record.
   grant select on v_$parameter to 'sync_account';  //Grant the sync account permission to view the v_$parameter view of the database. v$parameter is an Oracle dynamic dictionary table that stores database parameter settings.
   grant select any transaction to 'sync_account';  //Grant the sync account permission to view any transaction in the database.
   grant execute on SYS.DBMS_LOGMNR to 'sync_account';  //Grant the sync account permission to use the LogMiner tool of the database. The LogMiner tool helps you analyze transactions and recover lost data.
   grant alter session to 'sync_account';  //Grant the sync account permission to alter database sessions.
   grant select on dba_objects to 'sync_account';  //Grant the sync account permission to view all objects in the database.
   grant select on v_$standby_log to 'sync_account';  //Grant the sync account permission to view the v_$standby_log view of the database. v_$standby_log contains archived logs of the standby database.
   grant select on v_$ARCHIVE_GAP to 'sync_account';  //Grant the sync account permission to query missing archived logs.
   grant select on sys.ICOL$ to 'sync_account';  //Grant the sync account permission to view objects in the database. The sys.obj$ table is the base object table in the Oracle data dictionary, storing all Oracle objects.
   grant select on V_$THREAD to 'sync_account';  //Grant the sync account permission to view instance thread information. The V_$THREAD view is a thread status table in Oracle dynamic performance views, storing thread status information of each instance in a RAC cluster, used to determine instance status and log sources during incremental parsing.

   Si vous souhaitez utiliser la synchronisation complète par lots, exécutez la commande suivante pour accorder au compte de synchronisation l'autorisation de consultation sur toutes les tables.

   grant select any table to 'sync_account'; 

   Pour Oracle 12c et les versions ultérieures, exécutez la commande suivante pour accorder au compte de synchronisation l'autorisation d'effectuer l'extraction des journaux (log mining). Pour les versions antérieures à Oracle 12c, la fonctionnalité d'extraction des journaux est intégrée et cette commande n'est pas requise.

   grant LOGMINING TO 'sync_account';

Activez la journalisation des archives, la journalisation supplémentaire et effectuez le basculement des fichiers Redo log

1. Activez la journalisation des archives en exécutant les instructions SQL suivantes.

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Activez la journalisation supplémentaire.

   Vous pouvez activer la journalisation supplémentaire appropriée selon vos besoins en exécutant les instructions SQL suivantes.

   //To capture complete data changes, real-time synchronization requires enabling supplemental logging. You can enable it at the database level using the following SQL statements:
   alter database add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns of the database.
   alter database add supplemental log data(unique) columns; //Enable supplemental logging for unique index columns of the database.
   
   //You can also enable it at the table level:
   alter schema.table add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns of the specified table.
   alter schema.table add supplemental log data(unique) columns; //Enable supplemental logging for unique index columns of the specified table.

3. Effectuez le basculement des fichiers Redo log.

   Après avoir activé la journalisation supplémentaire, exécutez la commande suivante plusieurs fois (nous vous recommandons de l'exécuter 5 fois) pour effectuer le basculement des fichiers Redo log.

   alter system switch logfile;

   Remarque

   L'exécution répétée de la commande précédente pour effectuer le basculement des fichiers Redo log garantit que le fichier journal actuel peut basculer vers le fichier suivant une fois qu'il est plein. Cela permet de s'assurer que les enregistrements d'opérations ne sont pas perdus et peuvent être utilisés pour la récupération ultérieure des données.

Vérification de l'encodage des caractères de la base de données

Exécutez la commande suivante dans la base de données pour vérifier l'encodage des caractères.

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters stocke les paramètres de configuration de la base de données.

• NLS_CHARACTERSET et NLS_NCHAR_CHARACTERSET spécifient respectivement le jeu de caractères et le jeu de caractères nationaux de la base de données. Ces paramètres définissent les types de stockage des deux principales catégories de données caractères dans Oracle.

Data Integration prend uniquement en charge les formats d'encodage UTF8, AL32UTF8, AL16UTF16 et ZHS16GBK. Si la base de données utilise des encodages de caractères non pris en charge, modifiez-les avant de synchroniser les données.

Vérifier les types de données des tables de base de données

Exécutez une instruction SELECT pour interroger les types de données des tables de base de données. L'exemple suivant montre comment consulter les types de données d'une table nommée 'tablename'.

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME : le nom de la colonne de la table.

• DATA_TYPE : le type de données de la colonne.

• all_tab_columns : une vue qui stocke les informations sur toutes les colonnes des tables de base de données.

• TABLE_NAME : le nom de la table à interroger. Remplacez 'tablename' par le nom réel de la table lorsque vous exécutez l'instruction.

Vous pouvez également exécuter select * from 'tablename'; pour interroger toutes les informations d'une table et obtenir les types de données.

Configuration d’une tâche de synchronisation par lot à table unique

• Pour la procédure, consultez Configurer une tâche de synchronisation par lot en mode Assistant et Configurer une tâche de synchronisation par lot en mode Script.

• Pour obtenir la liste complète des paramètres et un exemple de script pour la configuration en mode Script, consultez Annexe : Exemple de script et description des paramètres.

Configuration d’une tâche de synchronisation en temps réel à table unique

Pour la procédure, consultez Configurer une tâche de synchronisation en temps réel.

Configuration de la synchronisation par lot pour l’ensemble de la base de données, de la synchronisation complète et incrémentielle (en temps réel) pour l’ensemble de la base de données, ainsi que de la synchronisation fragmentée (en temps réel) pour l’ensemble de la base de données

Pour la procédure, consultez Configurer une tâche de synchronisation pour l’ensemble de la base de données.

Configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code

Pour configurer une tâche de synchronisation par lots via l'éditeur de code, vous devez définir les paramètres associés dans le script, conformément aux exigences du format de script unifié. Pour plus d'informations, consultez la section Configuration en mode script. Les informations suivantes détaillent les paramètres à configurer pour les sources de données lors de la mise en place d'une tâche de synchronisation par lots avec l'éditeur de code.

Exemple de script pour le lecteur

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Paramètres du script de lecture

Démo du script Writer

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"oracle",// The plug-in name. "parameter":{ "postSql":[],// The SQL statements to run after the data synchronization task is complete. "datasource":"", "session":[],// The database connection session parameters. "column":[// The columns. "id", "name" ], "encoding":"UTF-8",// The encoding format. "batchSize":1024,// The number of records to commit in each batch. "table":"",// The table name. "preSql":[]// The SQL statements to run before the data synchronization task starts. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// When throttle is set to false, the mbps parameter does not take effect and throttling is disabled. When throttle is set to true, throttling is enabled. "concurrent":1, // The concurrency. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Paramètres du script de l'éditeur