MaxCompute:Bulk data export solutions

Les méthodes suivantes permettent d'exporter les résultats des requêtes SQL :

• Pour les petits jeux de données, utilisez SQLTask afin de récupérer l'intégralité du résultat de la requête.

• Pour exporter une table ou une partition complète, faites appel à Tunnel.

• Pour les requêtes SQL complexes, combinez SQLTask et Tunnel.

• Utilisez DataWorks pour exécuter des requêtes SQL, synchroniser les données et configurer des tâches planifiées ainsi que leurs dépendances.

• Utilisez l'outil open source DataX pour exporter les données depuis MaxCompute vers une source de données de destination.

Points d'attention :

• SQLTask.getResult(i) n'exporte que les résultats des requêtes SELECT. Cette méthode ne prend pas en charge d'autres commandes telles que show tables.

• La propriété READ_TABLE_MAX_ROW détermine le nombre d'enregistrements renvoyés par une instruction SELECT. Configurez-la dans la section Opérations sur le projet.

• Les instructions SELECT renvoient au maximum 10 000 enregistrements au client. L'exécution d'une instruction SELECT sur un client, y compris via SQLTask, équivaut à ajouter LIMIT N.

L'exemple suivant illustre l'exportation de données via une commande Tunnel. Pour les scénarios basés sur le SDK non pris en charge par l'interface CLI, consultez la rubrique Vue d'ensemble du canal de données par lots.

tunnel d wc_out c:\wc_out.dat;
2016-12-16 19:32:08 - new session: 201612161932082d3c9b0a012f68e7 total lines: 3
2016-12-16 19:32:08 - file [0]: [0, 3), c:\wc_out.dat
downloading 3 records into 1 file
2016-12-16 19:32:08 - file [0] start
2016-12-16 19:32:08 - file [0] OK. total: 21 bytes
download OK

Exemple :

Odps odps = OdpsUtils.newDefaultOdps(); // Initialize the Odps object.
Instance i = SQLTask.run(odps, "select * from wc_in;");
i.waitForSuccess();
// Create an InstanceTunnel.
InstanceTunnel tunnel = new InstanceTunnel(odps);
// Create a DownloadSession based on the instance ID.
InstanceTunnel.DownloadSession session = tunnel.createDownloadSession(odps.getDefaultProject(), i.getId());
long count = session.getRecordCount();
// Print the number of records.
System.out.println(count);
// The method for retrieving data is the same as with TableTunnel.
TunnelRecordReader reader = session.openRecordReader(0, count);
Record record;
while((record = reader.read()) != null)
{
    for(int col = 0; col < session.getSchema().getColumns().size(); ++col)
    {
        // The columns in the wc_in table are all of the STRING type. You can print the output directly or write it to a local file.
        System.out.println(record.get(col));
    }
}
reader.close();

Utilisez DataWorks pour exécuter des requêtes SQL et configurer des tâches de synchronisation des données.

1. Connectez-vous à la console DataWorks.

2. Dans le volet de navigation de gauche, cliquez sur Workspace.

3. Dans la colonne Actions correspondant à l'espace de travail cible, choisissez Shortcuts > Data Development.

4. Créez un workflow.

   1. Faites un clic droit sur Business Flow et sélectionnez Create Workflow.

   2. Saisissez un Name.

   3. Cliquez sur Create.

5. Créez un nœud SQL.

   1. Faites un clic droit sur le workflow et choisissez Create Node > MaxCompute > ODPS SQL.

   2. Définissez le Name sur runsql et cliquez sur OK.

   3. Configurez le nœud ODPS SQL, puis cliquez sur Save.

6. Créez un nœud de synchronisation des données.

   1. Faites un clic droit sur le workflow et choisissez Create Node > Data Integration > Offline Synchronization.

   2. Définissez le Name sur sync2mysql et cliquez sur OK.

   3. Sélectionnez la source et la destination des données.

   4. Configurez le mappage des champs.

   5. Configurez le contrôle du canal.

   6. Cliquez sur Save.

7. Reliez le nœud ODPS SQL au nœud de synchronisation des données afin que le nœud SQL produise les données destinées à l'exportation par le nœud de synchronisation.

8. Configurez la planification du workflow ou conservez les paramètres par défaut, puis cliquez sur Run. Voici un exemple de journaux d'exécution :

   2016-12-17 23:43:46.394 [job-15598025] INFO JobContainer - 
   Task start time : 2016-12-17 23:43:34
   Task end time : 2016-12-17 23:43:46
   Total time consumed : 11s
   Average traffic : 31.36KB/s
   Record write speed : 1668rec/s
   Total records read : 16689
   Total read/write failures : 0

9. Vérifiez le résultat de la synchronisation :

   select count(*) from result_in_db;