MaxCompute:Importer des données à l'aide de DataWorks

Procédure

1. Vous avez créé un projet MaxCompute et créé une table pour stocker les données importées.

2. Vous avez créé un espace de travail DataWorks et associé une ressource de calcul MaxCompute.

3. Importez les données.

   Importer des fichiers locaux

   1. Connectez-vous à la console DataWorks et sélectionnez une région dans le coin supérieur gauche.

   2. Dans le volet de navigation de gauche, choisissez Data Integration > Data Upload and Download.

   3. Dans la barre de navigation de gauche, cliquez sur l'icône de téléchargement , puis cliquez sur Data Upload.

   4. Suivez les instructions affichées à l'écran pour télécharger vos données.

      Vous pouvez importer des fichiers CSV, XLS, XLSX et JSON dans MaxCompute à l'aide de l'option Local File ou OSS. Limites :

      • Local File : La taille maximale d'un fichier CSV est de 5 Go. Pour les autres types de fichiers, la taille maximale est de 100 Mo.

      • OSS : Vous ne pouvez télécharger des données que depuis un bucket situé dans la même région que votre projet MaxCompute.

   Télécharger des données.

   Pour les anciens espaces de travail, téléchargez des fichiers CSV locaux ou des fichiers texte personnalisés via la fonctionnalité Télécharger des données.

   Importer à partir d'autres sources de données

   1. Connectez-vous à la console DataWorks et sélectionnez une région dans le coin supérieur gauche.

   2. Dans le volet de navigation de gauche, choisissez Data Development and O&M > Data Development.

   3. Sélectionnez l'option Select Workspace, puis cliquez sur Go to Data Studio.

   4. Sur le côté gauche de DataStudio, cliquez sur , puis sélectionnez Create Node > Data Integration > Batch Synchronization ou Real-time synchronization.

      • Nœud de synchronisation par lots : Définit MaxCompute comme destination des données et d'autres sources de données comme source.

      • Nœud de synchronisation en temps réel : Définit MaxCompute comme sortie et d'autres sources de données comme entrée.

      Configurer un nœud de synchronisation en mode assistant, Configurer un nœud de synchronisation en mode script et Configurer une tâche de synchronisation en temps réel (obsolète).

   5. Revenez à la console DataWorks.

      Dans le volet de navigation de gauche, choisissez Data Integration > Data Integration.

   6. Dans le volet de navigation de gauche, sélectionnez Sync Task, puis cliquez sur Create Synchronization Task. Dans la boîte de dialogue Create Sync Task qui s'affiche, configurez les informations de la source de données.

      Configurer une tâche de synchronisation en temps réel pour une base de données entière.

Capacités de synchronisation

Data Integration synchronise les données de diverses sources, telles que les bases de données RDS, vers MaxCompute. Les capacités varient selon le scénario de synchronisation.

• La synchronisation par lots utilise les plugins Reader et Writer pour lire et écrire dans les sources de données.

  • Chaque nœud de synchronisation par lots peut importer des données d'une ou plusieurs tables sources vers une seule table MaxCompute.

• La synchronisation en temps réel combine plusieurs sources de données d'entrée et de sortie en un lien de synchronisation pour la synchronisation incrémentielle en temps réel d'une table unique ou d'une base de données entière.

• Les solutions de synchronisation couvrent des scénarios tels que la synchronisation par lots de bases de données entières et la synchronisation en temps réel complète et incrémentielle.

Le tableau suivant répertorie les capacités prises en charge lorsque MaxCompute est utilisé comme destination.

Pour plus d'informations sur les capacités de synchronisation de MaxCompute, consultez la rubrique Source de données MaxCompute.

Facturation

Data Integration nécessite des groupes de ressources pour l'intégration et la planification des données. Des groupes de ressources partagés et exclusifs sont disponibles. Les transferts de données via le réseau public peuvent entraîner des frais de transfert de données Internet.

• Groupes de ressources Data Integration : Facturation des groupes de ressources exclusifs par abonnement pour Data Integration et Groupes de ressources partagés à la demande pour Data Integration (pour le débogage).

• Transfert de données Internet : Facturation du transfert de données Internet.

• Groupes de ressources de planification : Facturation des groupes de ressources exclusifs par abonnement pour la planification et Facturation des groupes de ressources partagés pour la planification.

Bonnes pratiques