DataWorks:Téléchargement de données

Notes

• Si vos opérations impliquent des transferts de données transfrontaliers (par exemple, le transfert de données depuis la Chine continentale vers un emplacement situé hors de Chine continentale, ou entre différents pays ou régions), vous devez d'abord lire et comprendre la déclaration de conformité associée. Dans le cas contraire, le téléchargement peut échouer et vous pourriez engager votre responsabilité légale.

• Avant de charger des données, nous vous recommandons d'utiliser des en-têtes en anglais dans votre fichier source. Les en-têtes en chinois peuvent provoquer des échecs d'analyse et entraîner l'échec du chargement.

Limites

• Limites liées aux groupes de ressources : La fonctionnalité Data Upload nécessite de spécifier un groupe de ressources pour la planification et un groupe de ressources pour Data Integration.

  • Cette fonctionnalité prend uniquement en charge un groupe de ressources serverless (recommandé), un groupe de ressources exclusif pour la planification et un groupe de ressources exclusif pour Data Integration. Vous devez configurer un groupe de ressources pour la planification et un groupe de ressources pour Data Integration pour le moteur respectif dans Data Analysis > More > System Management.

  • Le groupe de ressources sélectionné doit être associé à l'espace de travail DataWorks contenant la table de destination. Vous devez également garantir la connectivité réseau entre le groupe de ressources sélectionné et la source de données utilisée pour la tâche de chargement.

    Remarque

    • Pour configurer le groupe de ressources d'un moteur dans Data Analysis, consultez la section Gestion du système.

    • Pour établir la connectivité réseau entre une source de données et un groupe de ressources, consultez les Solutions de connectivité réseau.

    • Pour associer un groupe de ressources exclusif à son espace de travail désigné, consultez les sections Utilisation des groupes de ressources exclusifs pour la planification et Utilisation d'un groupe de ressources exclusif pour Data Integration.

• Autorisations requises pour le chargement de données :

  • Tables MaxCompute (tables ODPS) : Il vous suffit d'être le propriétaire de la table. Vous n'avez pas besoin du rôle développeur, analyste ou opérateur dans l'espace de travail DataWorks.

  • Tables autres que MaxCompute (telles que Hologres, EMR Hive et StarRocks) : En plus d'être le propriétaire de la table, vous devez avoir un rôle attribué dans l'espace de travail DataWorks.

    • Tables dans l'environnement de développement : Vous devez disposer du rôle développeur.

    • Tables dans l'environnement de production : Vous devez disposer du rôle opérateur.

• Limites relatives au type de table : Vous ne pouvez charger des données que dans des tables internes ou des tables sous le catalogue par défaut (applicable à StarRocks).

Facturation

Le chargement de données entraîne les frais suivants :

• Frais de transfert de données.

• Si de nouvelles tables sont créées, des frais de calcul et de stockage sont appliqués.

Tous les frais sont facturés par le moteur. Pour plus d'informations, consultez les sections Facturation MaxCompute, Facturation Hologres, Facturation E-MapReduce et Facturation EMR Serverless StarRocks.

Accéder à la page Data Upload

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Integration > Data Upload and Download dans le volet de navigation de gauche. Cliquez sur Go to Data Upload and Download.

2. Cliquez sur l'icône dans le volet de navigation de gauche pour accéder à la page Upload Data.

3. Cliquez sur Upload Data et suivez les instructions à l'écran pour charger les données.

Sélectionner les données à charger

Vous pouvez charger des données à partir de fichiers locaux, de feuilles de calcul, d'OSS et de fichiers HTTP. Sélectionnez une source de données en fonction de vos besoins métier.

Lorsque vous chargez un fichier, indiquez si vous souhaitez ignorer les données erronées selon vos besoins.

• Oui : Si des données erronées sont détectées, le système les ignore automatiquement et poursuit le chargement.

• Non : Si des données erronées sont détectées, le système ne les ignore pas et le chargement est interrompu.

Configurer la table de destination

Dans la section Configure Destination Table, sélectionnez un Compute Engine pour le chargement de données et configurez les paramètres pertinents en fonction du moteur sélectionné.

Lorsque vous configurez la table de destination, assurez-vous de distinguer PROD (environnement de production) et DEV (environnement de développement) lors de la sélection d'une source de données. Si vous sélectionnez le mauvais environnement, les données seront chargées dans un environnement non souhaité.

Aperçu des données à charger

Après avoir configuré la table de destination, vous pouvez ajuster l'encodage du fichier et le mappage des colonnes en fonction de l'aperçu des données.

Actuellement, seules les 20 premières lignes de données peuvent être affichées en aperçu.

• File Encoding Format : Si les données contiennent des caractères illisibles, vous pouvez modifier le format d'encodage. Les formats d'encodage suivants sont pris en charge : UTF-8, GB18030, Big5, UTF-16LE et UTF-16BE.

• Aperçu des données et configuration des colonnes de la table de destination :

  • Charger des données dans une table existante : Vous devez configurer le mappage entre les colonnes du fichier source et les colonnes de la table de destination. Le chargement des données n'est possible qu'après configuration du mappage. Les méthodes de mappage incluent Mapping by Column Name et Mapping by Order. Après la configuration du mappage, vous pouvez également personnaliser les noms des colonnes dans la table de destination.

    Remarque

    • Si les données à charger n'ont aucun mappage vers une colonne de la table de destination, elles sont grisées et ne seront pas chargées.

    • Les mappages en double entre les données à charger et les colonnes de la table de destination ne sont pas autorisés.

    • Les noms et les types de colonnes ne peuvent pas être vides. Sinon, les données ne peuvent pas être chargées.

  • Charger des données dans une nouvelle table : Vous pouvez utiliser Intelligent Field Generation pour remplir automatiquement les informations de colonne, ou modifier manuellement les informations de colonne.

    Remarque

    • Les noms et les types de colonnes ne peuvent pas être vides. Sinon, les données ne peuvent pas être chargées.

    • Les moteurs EMR Hive, Hologres et StarRocks ne prennent pas en charge la création de nouvelles tables lors du chargement de données.

• Ignore First Row : Indique s'il faut charger ou non la première ligne des données du fichier (généralement les noms de colonnes) dans la table de destination.

  • Sélectionné : Si la première ligne contient des noms de colonnes, elle n'est pas chargée dans la table de destination.

  • Effacé : Si la première ligne contient des données, elle est chargée dans la table de destination.

Charger les données

Après avoir affiché l'aperçu des données, cliquez sur le bouton Upload Data en bas à gauche pour charger les données.

Étapes suivantes

Une fois les données chargées, cliquez sur l'icône dans le volet de navigation de gauche pour accéder à la page Upload Data. Recherchez la tâche de chargement de données créée et effectuez les opérations suivantes selon vos besoins :

• Poursuivre le chargement : Cliquez sur Resume dans la colonne Operation pour recharger les données.

• Interroger les données : Cliquez sur Query Data dans la colonne Operation pour interroger et analyser les données.

• Afficher les détails du chargement : Cliquez sur le Table Name cible pour accéder à Data Map et afficher les informations détaillées sur la table de destination. Pour plus d'informations, consultez la section Récupération des métadonnées.

Annexe : Déclaration de conformité pour le chargement de données transfrontalier

Si vos opérations impliquent des transferts de données transfrontaliers (par exemple, le transfert de données depuis la Chine continentale vers un emplacement situé hors de Chine continentale, ou entre différents pays ou régions), vous devez d'abord lire et comprendre la déclaration de conformité associée. Dans le cas contraire, le chargement peut échouer et vous pourriez engager votre responsabilité légale.

Les opérations de données transfrontalières transféreront les données de votre activité cloud vers la région que vous avez sélectionnée ou la région où le produit est déployé. Vous devez vous assurer que les opérations respectent les exigences suivantes :

• Vous disposez de l'autorisation de traiter les données commerciales cloud concernées.

• Vous avez adopté des technologies et des politiques de protection des données suffisantes.

• Le transfert de données est conforme aux exigences des lois et réglementations applicables. Par exemple, les données transférées ne contiennent aucun contenu restreint, interdit de transfert ou interdit de divulgation en vertu des lois applicables.

Alibaba Cloud vous rappelle que si vos opérations de chargement de données peuvent entraîner des transferts de données transfrontaliers, consultez des professionnels juridiques ou de la conformité avant d'effectuer ces opérations afin de garantir que les transferts de données transfrontaliers sont conformes aux lois, réglementations et politiques réglementaires applicables (par exemple, obtenir une autorisation valide des personnes concernées, signer et déposer les clauses contractuelles pertinentes, et réaliser les évaluations de sécurité requises et autres obligations légales).

Si vous effectuez des opérations de données transfrontalières sans respecter cette déclaration de conformité, vous assumerez les conséquences juridiques correspondantes. Vous êtes également responsable de toute perte subie par Alibaba Cloud et ses affiliés.

Références

• Data Studio prend également en charge le chargement de fichiers CSV ou texte locaux vers des tables MaxCompute. Pour plus d'informations, consultez la section Charger des données.

• Pour plus d'opérations sur les tables MaxCompute, consultez la section Créer et utiliser des tables MaxCompute.

• Pour plus d'opérations sur les tables Hologres, consultez la section Créer une table Hologres.

• Pour plus d'opérations sur les tables EMR, consultez la section Créer une table EMR.

FAQ

1. Problème de configuration du groupe de ressources.

   Message d'erreur : La source de fichier actuelle ou le moteur de destination nécessite un groupe de ressources pour le chargement de données. Contactez l'administrateur de l'espace de travail pour configurer un groupe de ressources.

   Solution : Pour configurer le groupe de ressources d'un moteur dans Data Analysis, consultez la section Gestion du système.

2. Problème d'association du groupe de ressources.

   Message d'erreur : Le groupe de ressources configuré pour le chargement global de données dans votre espace de travail n'est pas associé à l'espace de travail auquel appartient la table cible. Contactez l'administrateur de l'espace de travail pour les associer.

   Solution : Vous pouvez associer le groupe de ressources en tant que groupe de ressources de l'espace de travail qui est configuré dans la gestion du système.