DataWorks:Source de données Oracle

Lectures et écritures par lots

Oracle Writer utilise le pilote ojdbc6-12.1.1.jar.

Lectures en temps réel

• Prises en charge :

  11g R2 et versions ultérieures, 12c non cdb, 18c non cdb, 19c non cdb ou bases de données 19c cdb.

• Non prises en charge :

  Bases de données 12c cbd et 18c cbd.

• Lorsqu'Oracle est la source d'une tâche en temps réel pour l'intégralité de la base de données, activez la journalisation des archives. Pour plus de détails, consultez la section Préparation de l'environnement Oracle.

Une base de données conteneur (CDB) est une fonctionnalité introduite avec Oracle 12c et les versions ultérieures ; elle contient plusieurs bases de données enfichables (PDB).

Vérification de la version de la base de données Oracle

Les versions Oracle prises en charge varient selon le scénario de synchronisation. Vérifiez que votre version est compatible.

1. Utilisez l'une des instructions suivantes pour vérifier la version :

   • Instruction 1 :

     select * from v$version;

   • Instruction 2 :

     select version from v$instance;

2. Si la version Oracle est 12c ou 18c, utilisez cette instruction pour vérifier s'il s'agit d'une base de données cdb. La synchronisation en temps réel de Data Integration ne prend actuellement pas en charge les bases de données Oracle cdb des versions 12c et 18c.

   select name,cdb,open_mode,con_id from v$database;

Création d'un compte et attribution des autorisations

Planifiez un compte de connexion à la base de données pour les opérations ultérieures. Ce compte nécessite les autorisations Oracle appropriées.

1. Créez un compte. Pour la procédure, consultez la section Création d'un compte Oracle.

2. Accordez les autorisations.

   Utilisez les commandes suivantes pour accorder les autorisations. Remplacez 'sync_user' par le compte créé précédemment.

   grant create session to 'sync_user';  //Allow the synchronization account to log on to the database.
   grant connect to 'sync_user';  //Allow the synchronization account to connect to the database.
   grant select on nls_database_parameters to 'sync_user';  //Allow the synchronization account to query the nls_database_parameters system settings.
   grant select on all_users to 'sync_user';  //Allow the synchronization account to query all database users.
   grant select on all_objects to 'sync_user';  //Allow the synchronization account to query all database objects.
   grant select on DBA_MVIEWS to 'sync_user';  //Allow the synchronization account to view materialized views.
   grant select on DBA_MVIEW_LOGS to 'sync_user';  //Allow the synchronization account to view materialized view logs.
   grant select on DBA_CONSTRAINTS to 'sync_user';  //Allow the synchronization account to view constraints on all database tables.
   grant select on DBA_CONS_COLUMNS to 'sync_user';  //Allow the synchronization account to view columns in specified constraints on all database tables.
   grant select on all_tab_cols to 'sync_user';  //Allow the synchronization account to view column information for tables, views, and clusters.
   grant select on sys.obj$ to 'sync_user';  //Allow the synchronization account to view objects. sys.obj$ is the Oracle dictionary base table containing all objects.
   grant select on SYS.COL$ to 'sync_user';  //Allow the synchronization account to view column definitions. SYS.COL$ stores table column definitions.
   grant select on sys.USER$ to 'sync_user';  //Allow the synchronization account to view system tables. sys.USER$ is the default service for user sessions.
   grant select on sys.cdef$ to 'sync_user';  //Allow the synchronization account to view system tables.
   grant select on sys.con$ to 'sync_user';  //Allow the synchronization account to view constraints. sys.con$ records Oracle constraint information.
   grant select on all_indexes to 'sync_user';  //Allow the synchronization account to view all indexes.
   grant select on v_$database to 'sync_user';  //Allow the synchronization account to view v_$database.
   grant select on V_$ARCHIVE_DEST to 'sync_user';  //Allow the synchronization account to view V_$ARCHIVE_DEST.
   grant select on v_$log to 'sync_user';  //Allow the synchronization account to view v_$log, which shows log file information in the control file.
   grant select on v_$logfile to 'sync_user';  //Allow the synchronization account to view v_$logfile, which contains redo log file information.
   grant select on v_$archived_log to 'sync_user';  //Allow the synchronization account to view v$archived_log, which contains archive log information.
   grant select on V_$LOGMNR_CONTENTS to 'sync_user';  //Allow the synchronization account to view V_$LOGMNR_CONTENTS.
   grant select on DUAL to 'sync_user';   //Allow the synchronization account to view DUAL, a one-row virtual table used in SELECT syntax.
   grant select on v_$parameter to 'sync_user';  //Allow the synchronization account to view v_$parameter, a dynamic dictionary view of database parameter values.
   grant select any transaction to 'sync_user';  //Allow the synchronization account to view any transaction.
   grant execute on SYS.DBMS_LOGMNR to 'sync_user';  //Allow the synchronization account to use LogMiner for transaction analysis and data recovery.
   grant alter session to 'sync_user';  //Allow the synchronization account to alter the database session.
   grant select on dba_objects to 'sync_user';  //Allow the synchronization account to view all database objects.
   grant select on v_$standby_log to 'sync_user';  //Allow the synchronization account to view v_$standby_log, which contains standby archive log information.
   grant select on v_$ARCHIVE_GAP to 'sync_user';  //Allow the synchronization account to query missing archive logs.
   grant select on sys.ICOL$ to 'sync_user';  //Allow the synchronization account to view objects. sys.obj$ is the Oracle dictionary base table containing all objects.
   grant select on V_$THREAD to 'sync_user';  //Allow the synchronization account to view instance thread information. V_$THREAD is an Oracle dynamic performance view of RAC instance thread status used to identify instance state and log sources for incremental parsing.

   Pour la synchronisation par lots de l'intégralité des données, accordez également au compte l'autorisation d'interroger toutes les tables :

   grant select any table to 'sync_user';

   Oracle 12c et les versions ultérieures nécessitent cette commande pour permettre au compte d'utiliser LogMiner. Les versions antérieures fournissent LogMiner intégré et ne le requièrent pas.

   grant LOGMINING TO 'sync_user';

Activation de la journalisation des archives et supplémentaire, et basculement des fichiers journaux redo

1. Activez la journalisation des archives :

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Activez la journalisation supplémentaire.

   Choisissez la journalisation supplémentaire selon vos besoins. Exemple SQL :

   //Enable supplemental logging to capture complete changes for real-time synchronization. For database-level logging, run:
   alter database add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns in the database.
   alter database add supplemental log data(unique) columns; //Enable supplemental logging for unique-index columns in the database.
   
   //You can instead enable it at the table level:
   alter schema.table add supplemental log data(primary key) columns; //Enable supplemental logging for primary key columns in the specified table.
   alter schema.table add supplemental log data(unique) columns; //Enable supplemental logging for unique-index columns in the specified table.

3. Basculez les fichiers journaux redo.

   Après avoir activé la journalisation supplémentaire, exécutez la commande suivante plusieurs fois (cinq fois sont généralement recommandées) pour basculer les fichiers journaux redo.

   alter system switch logfile;

   Remarque

   Le basculement multiple garantit que le fichier journal actuel peut rouler après remplissage, préservant ainsi les enregistrements d'opérations pour une récupération ultérieure.

Vérification de l'encodage des caractères de la base de données

Exécutez la commande suivante dans la base de données pour vérifier son encodage de caractères :

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters stocke les paramètres de configuration de la base de données.

• NLS_CHARACTERSET et NLS_NCHAR_CHARACTERSET correspondent respectivement aux jeux de caractères de la base de données et nationaux, indiquant les formats de stockage pour deux catégories de données de caractères Oracle.

Data Integration prend actuellement en charge UTF8, AL32UTF8, AL16UTF16 et ZHS16GBK lors de la synchronisation des données. Modifiez les encodages de caractères non pris en charge avant la synchronisation.

Vérification des types de données des tables

Utilisez une instruction SQL SELECT pour interroger les types des colonnes de la table. Pour inspecter 'tablename', exécutez :

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME : nom de la colonne de la table.

• DATA_TYPE : type de données de la colonne.

• all_tab_columns : vue contenant des informations sur toutes les colonnes des tables.

• TABLE_NAME : nom de la table cible. Remplacez 'tablename' par le nom réel de la table dans l'instruction.

Vous pouvez également exécuter select * from 'tablename'; pour interroger toutes les données et obtenir les types pour la table cible.

Configurer une tâche de synchronisation par lots pour une seule table

• Pour la procédure, consultez les rubriques Configuration sans code et Configuration en mode script.

• Pour connaître tous les paramètres du mode script et voir des exemples de scripts, reportez-vous à l'Annexe : Exemples de scripts et paramètres.

Configurer une tâche de synchronisation en temps réel pour une seule table

Pour la procédure, consultez la rubrique Configurer une tâche de synchronisation en temps réel (héritée).

Configurer la synchronisation par lots de toute la base de données, la synchronisation en temps réel complète et incrémentielle, ainsi que la synchronisation en temps réel des tables fragmentées

Pour la procédure, consultez la rubrique Configurer des tâches de synchronisation en temps réel de toute la base de données.

Configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code

Si vous souhaitez configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code, vous devez configurer les paramètres associés dans le script selon les exigences de format de script unifié. Pour plus d'informations, consultez la rubrique Configuration en mode script. Les informations suivantes décrivent les paramètres que vous devez configurer pour les sources de données lors de la configuration d'une tâche de synchronisation par lots à l'aide de l'éditeur de code.

Exemple de script Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Paramètres du script Reader

Exemple de script Writer

{ "type":"job", "version":"2.0",//Numéro de version. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"oracle",//Nom du plug-in. "parameter":{ "postSql":[],//Instructions SQL à exécuter après la synchronisation. "datasource":"", "session":[],//Paramètres de session de connexion à la base de données. "column":[//Champs. "id", "name" ], "encoding":"UTF-8",//Format d'encodage. "batchSize":1024,//Nombre d'enregistrements soumis en un lot. "table":"",//Nom de la table. "preSql":[]//Instructions SQL à exécuter avant la synchronisation. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"//Nombre d'enregistrements d'erreur. }, "speed":{ "throttle":true,//Lorsque throttle est faux, mbps est ignoré et le débit est illimité ; lorsqu'il est vrai, le débit est limité. "concurrent":1, //Concurrence des jobs. "mbps":"12"//Limite de débit. Ici, 1 mbps = 1 Mo/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Paramètres du script Writer