MaxCompute:LOAD

OSS

Hologres

OSS

Cet exemple montre comment charger des données à l'aide d'un extracteur intégré (StorageHandler). Il suppose que MaxCompute et OSS appartiennent au même compte Alibaba Cloud et explique comment charger des données du fichier vehicle.csv vers MaxCompute via le réseau interne Alibaba Cloud.

1. Cliquez ici pour une autorisation en un clic.

2. Enregistrez le fichier vehicle.csv dans le répertoire mc-test/data_location/ d'un bucket OSS dans la région oss-cn-hangzhou, puis construisez le chemin d'accès au répertoire OSS. Pour plus d'informations sur la création d'un bucket OSS, consultez la section Créer un bucket.

   Le chemin d'accès au répertoire OSS est construit à partir des informations de bucket, de région et de point de terminaison comme suit :

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/

3. Connectez-vous au client MaxCompute (odpscmd) pour créer la table cible ambulance_data_csv_load. Exemple de commande :

   CREATE TABLE ambulance_data_csv_load (
   vehicleId INT,
   recordId INT,
   patientId INT,
   calls INT,
   locationLatitude DOUBLE,
   locationLongitude DOUBLE,
   recordTime STRING,
   direction STRING );
   

4. Exécutez la commande load overwrite pour charger le fichier vehicle.csv depuis OSS vers la table cible. Exemple de commande :

   LOAD OVERWRITE TABLE ambulance_data_csv_load
   FROM
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   STORED BY 'com.aliyun.odps.CsvStorageHandler'
   WITH SERDEPROPERTIES (
       -- The ARN of AliyunODPSDefaultRole. You can obtain it on the RAM role management page.
       'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole',
       'odps.text.option.delimiter'=','
   );
   

   Pour afficher l'ARN d'un rôle, consultez la section Afficher un rôle RAM.

5. Vérifiez les données dans la table cible ambulance_data_csv_load. Exemple de commande :

   -- Enable a full table scan. This setting is valid only for the current session.
   set odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_csv_load;
   
   -- The following result is returned:
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitude | locationlongitude | recordtime | direction  |
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | W          |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW         |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          |
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+

Hologres

1. Scénario

   Une instance et une base de données Hologres ont été créées, et une table a été créée dans la base de données.

   Une table externe Hologres a été créée dans MaxCompute. Vous pouvez interroger les données de la table Hologres à l'aide de la table externe.

   -- Query the Hologres external table:
   SELECT * FROM holo_ext;
   
   -- The following result is returned:
   +------------+------+
   | id         | name |
   +------------+------+
   | 1          | abc  |
   | 2          | ereg |
   +------------+------+

2. L'exemple suivant montre comment utiliser la commande LOAD pour charger des données de cette table Hologres vers une table interne MaxCompute.

   1. Créez une table interne MaxCompute.

      -- Create an internal table.
      CREATE TABLE from_holo(id BIGINT, name STRING);

   2. Utilisez la commande LOAD pour charger des données dans MaxCompute.

      -- Load data from the Hologres table into a MaxCompute internal table.
      LOAD INTO TABLE from_holo 
      FROM LOCATION 'jdbc:postgresql://hgprecn-cn-wwo3ft0l****-cn-beijing-internal.hologres.aliyuncs.com:80/<YOUR_HOLO_DB_NAME>?application_name=MaxCompute&currentSchema=public&useSSL=false&table=<YOUR_HOLOGRES_TABLE_NAME>/' 
      STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' 
      WITH SERDEPROPERTIES (
        'odps.properties.rolearn'='acs:ram::18927322887*****:role/hologresrole',
        'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
        'odps.federation.jdbc.target.db.type'='holo'
      );
      

3. Interrogez la table pour voir le résultat.

   SELECT * FROM from_holo;
   
   -- The following result is returned:
   +------------+------+
   | id         | name |
   +------------+------+
   | 2          | ereg |
   | 1          | abc  |
   +------------+------+

Même compte

Propriété du même compte

Cet exemple illustre le chargement de données depuis le fichier vehicle.textfile vers MaxCompute via le réseau interne d'Alibaba Cloud.

1. Cliquez ici pour une autorisation en un clic.

2. Enregistrez le fichier vehicle.textfile dans le répertoire mc-test/data_location/ d'un bucket OSS situé dans la région oss-cn-hangzhou, puis construisez le chemin d'accès au répertoire OSS. Pour plus d'informations sur la création d'un bucket OSS, consultez la rubrique Créer un bucket.

   Le chemin d'accès au répertoire OSS est construit à partir des informations relatives au bucket, à la région et à l'endpoint comme suit :

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/

3. Connectez-vous au client MaxCompute (odpscmd) pour créer la table cible ambulance_data_textfile_load_pt. Exemple de commande :

   CREATE TABLE ambulance_data_textfile_load_pt (
     vehicleId STRING,
     recordId STRING,
     patientId STRING,
     calls STRING,
     locationLatitude STRING,
     locationLongitude STRING,
     recordTime STRING,
     direction STRING
   )
   PARTITIONED BY (
     ds STRING
   );

4. Exécutez la commande load overwrite pour charger le fichier vehicle.textfile depuis OSS vers la table cible. Exemple de commande :

   LOAD OVERWRITE TABLE ambulance_data_textfile_load_pt PARTITION(ds='20200910')
   FROM
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
   WITH SERDEPROPERTIES ('field.delim' = ',')
   STORED AS TEXTFILE;

5. Vérifiez les données dans la table cible ambulance_data_textfile_load_pt. Exemple de commande :

   -- Enable a full table scan. This setting is valid only for the current session.
   SET odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_textfile_load_pt;
   
   -- The following result is returned:
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+
   | vehicleid | recordid | patientid | calls | locationlatitude | locationlongitude | recordtime     | direction | ds       |
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+
   | 1         | 1        | 51        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 2        | 13        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 3        | 48        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 4        | 30        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | W         | 20200910 |
   | 1         | 5        | 47        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 6        | 9         | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 7        | 53        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | N         | 20200910 |
   | 1         | 8        | 63        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW        | 20200910 |
   | 1         | 9        | 4         | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 10       | 31        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | N         | 20200910 |
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+

Partitions dynamiques

Charger des données à l'aide de partitions dynamiques

1. Cliquez ici pour une autorisation en un clic.

2. Enregistrez respectivement les fichiers vehicle1.csv et vehicle2.csv dans les répertoires mc-test/data_location/ds=20200909/ et mc-test/data_location/ds=20200910/ d'un bucket OSS situé dans la région oss-cn-hangzhou, puis construisez les chemins d'accès aux répertoires OSS. Pour plus d'informations sur la création d'un bucket OSS, consultez la rubrique Créer un bucket.

   Les chemins d'accès aux répertoires OSS sont construits à partir des informations relatives au bucket, à la région et à l'endpoint comme suit :

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200909/'
   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200910/'

3. Connectez-vous au client MaxCompute (odpscmd) pour créer la table cible ambulance_data_csv_load_dynpt. Exemple de commande :

   CREATE TABLE ambulance_data_csv_load_dynpt (
     vehicleId STRING,
     recordId STRING,
     patientId STRING,
     calls STRING,
     locationLatitude STRING,
     locationLongitude STRING,
     recordTime STRING,
     direction STRING
   )
   PARTITIONED BY (
     ds STRING
   );

4. Exécutez la commande load overwrite pour charger les fichiers depuis OSS vers la table cible. Exemple de commande :

   LOAD OVERWRITE TABLE ambulance_data_csv_load_dynpt PARTITION(ds)
   FROM
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
   STORED AS TEXTFILE;
   

5. Vérifiez les données dans la table cible ambulance_data_csv_load_dynpt. Exemple de commande :

   -- Enable a full table scan. This setting is valid only for the current session.
   SET odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_csv_load_dynpt;
   
   -- The following result is returned:
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitude | locationlongitude | recordtime     | direction  | ds         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          | 20200909   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW         | 20200909   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200909   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          | 20200909   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200910   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200910   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | W          | 20200910   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+