MaxCompute:LOAD

OSS

Hologres

OSS

このサンプルでは、組み込みエクストラクター（StorageHandler）を使用したデータロード方法を示します。MaxCompute と OSS が同一の Alibaba Cloud アカウントによって所有されていることを前提としており、Alibaba Cloud の内部ネットワークを介して vehicle.csv ファイルを MaxCompute にロードする方法を説明します。

1. ワンクリック権限付与をクリックします。

2. vehicle.csv ファイルを、mc-test/data_location/ ディレクトリに保存します。このディレクトリは、oss-cn-hangzhou リージョンの OSS バケット内にあります。その後、OSS ディレクトリパスを構築します。「バケットの作成」をご参照ください。

   OSS ディレクトリパスは、バケット、リージョン、エンドポイント情報から次のように構築されます：

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/

3. MaxCompute クライアント (odpscmd) にログインし、対象テーブル ambulance_data_csv_load を作成します。サンプルコマンド：

   CREATE TABLE ambulance_data_csv_load (
   vehicleId INT,
   recordId INT,
   patientId INT,
   calls INT,
   locationLatitude DOUBLE,
   locationLongitude DOUBLE,
   recordTime STRING,
   direction STRING );
   

4. load overwrite コマンドを実行して、OSS から vehicle.csv ファイルを対象テーブルにロードします。サンプルコマンド：

   LOAD OVERWRITE TABLE ambulance_data_csv_load
   FROM
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   STORED BY 'com.aliyun.odps.CsvStorageHandler'
   WITH SERDEPROPERTIES (
       -- AliyunODPSDefaultRole の ARN。RAM ロール管理ページで取得できます。
       'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole',
       'odps.text.option.delimiter'=','
   );
   

   ロールの ARN を確認するには、「RAM ロールの表示」をご参照ください。

5. 対象テーブル ambulance_data_csv_load のデータを検証します。サンプルコマンド：

   -- 全表スキャンを有効化します。この設定は現在のセッションのみ有効です。
   set odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_csv_load;
   
   -- 次の結果が返されます：
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitude | locationlongitude | recordtime | direction  |
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | W          |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW         |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          |
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+

Hologres

1. シナリオ

   Hologres インスタンスおよびデータベースが作成済みであり、データベース内にテーブルも作成済みです。

   MaxCompute 内に Hologres 外部テーブルが作成済みです。この外部テーブルを使用して、Hologres テーブルのデータをクエリできます。

   -- Hologres 外部テーブルをクエリ：
   SELECT * FROM holo_ext;
   
   -- 次の結果が返されます：
   +------------+------+
   | id         | name |
   +------------+------+
   | 1          | abc  |
   | 2          | ereg |
   +------------+------+

2. 次のサンプルでは、LOAD コマンドを使用して、この Hologres テーブルから MaxCompute の内部テーブルにデータをロードする方法を示します。

   1. MaxCompute の内部テーブルを作成します。

      -- 内部テーブルを作成します。
      CREATE TABLE from_holo(id BIGINT, name STRING);

   2. LOAD コマンドを使用して、データを MaxCompute にロードします。

      -- Hologres テーブルから MaxCompute の内部テーブルにデータをロードします。
      LOAD INTO TABLE from_holo 
      FROM LOCATION 'jdbc:postgresql://hgprecn-cn-wwo3ft0l****-cn-beijing-internal.hologres.aliyuncs.com:80/<YOUR_HOLO_DB_NAME>?application_name=MaxCompute&currentSchema=public&useSSL=false&table=<YOUR_HOLOGRES_TABLE_NAME>/' 
      STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' 
      WITH SERDEPROPERTIES (
        'odps.properties.rolearn'='acs:ram::18927322887*****:role/hologresrole',
        'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
        'odps.federation.jdbc.target.db.type'='holo'
      );
      

3. テーブルをクエリして結果を確認します。

   SELECT * FROM from_holo;
   
   -- 次の結果が返されます：
   +------------+------+
   | id         | name |
   +------------+------+
   | 2          | ereg |
   | 1          | abc  |
   +------------+------+

同一アカウント

同一アカウント所有

このサンプルでは、Alibaba Cloud の内部ネットワークを介して vehicle.textfile ファイルを MaxCompute にロードする方法を示します。

1. ワンクリック権限付与をクリックします。

2. vehicle.textfile ファイルを、mc-test/data_location/ ディレクトリに保存します。このディレクトリは、oss-cn-hangzhou リージョンの OSS バケット内にあります。その後、OSS ディレクトリパスを構築します。「バケットの作成」をご参照ください。

   OSS ディレクトリパスは、バケット、リージョン、エンドポイント情報から次のように構築されます：

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/

3. MaxCompute クライアント (odpscmd) にログインし、対象テーブル ambulance_data_textfile_load_pt を作成します。サンプルコマンド：

   CREATE TABLE ambulance_data_textfile_load_pt (
     vehicleId STRING,
     recordId STRING,
     patientId STRING,
     calls STRING,
     locationLatitude STRING,
     locationLongitude STRING,
     recordTime STRING,
     direction STRING
   )
   PARTITIONED BY (
     ds STRING
   );

4. load overwrite コマンドを実行して、OSS から vehicle.textfile ファイルを対象テーブルにロードします。サンプルコマンド：

   LOAD OVERWRITE TABLE ambulance_data_textfile_load_pt PARTITION(ds='20200910')
   FROM
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
   WITH SERDEPROPERTIES ('field.delim' = ',')
   STORED AS TEXTFILE;

5. 対象テーブル ambulance_data_textfile_load_pt のデータを検証します。サンプルコマンド：

   -- 全表スキャンを有効化します。この設定は現在のセッションのみ有効です。
   SET odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_textfile_load_pt;
   
   -- 次の結果が返されます：
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+
   | vehicleid | recordid | patientid | calls | locationlatitude | locationlongitude | recordtime     | direction | ds       |
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+
   | 1         | 1        | 51        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 2        | 13        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 3        | 48        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 4        | 30        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | W         | 20200910 |
   | 1         | 5        | 47        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 6        | 9         | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 7        | 53        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | N         | 20200910 |
   | 1         | 8        | 63        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW        | 20200910 |
   | 1         | 9        | 4         | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 10       | 31        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | N         | 20200910 |
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+

動的パーティション

動的パーティションを使用したデータロード

1. ワンクリック権限付与をクリックします。

2. vehicle1.csv および vehicle2.csv ファイルを、それぞれ mc-test/data_location/ds=20200909/ および mc-test/data_location/ds=20200910/ ディレクトリに保存します。これらのディレクトリは、oss-cn-hangzhou リージョンの OSS バケット内にあります。その後、OSS ディレクトリパスを構築します。「バケットの作成」をご参照ください。

   OSS ディレクトリパスは、バケット、リージョン、エンドポイント情報から次のように構築されます：

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200909/'
   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200910/'

3. MaxCompute クライアント (odpscmd) にログインし、対象テーブル ambulance_data_csv_load_dynpt を作成します。サンプルコマンド：

   CREATE TABLE ambulance_data_csv_load_dynpt (
     vehicleId STRING,
     recordId STRING,
     patientId STRING,
     calls STRING,
     locationLatitude STRING,
     locationLongitude STRING,
     recordTime STRING,
     direction STRING
   )
   PARTITIONED BY (
     ds STRING
   );

4. load overwrite コマンドを実行して、OSS からファイルを対象テーブルにロードします。サンプルコマンド：

   LOAD OVERWRITE TABLE ambulance_data_csv_load_dynpt PARTITION(ds)
   FROM
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
   STORED AS TEXTFILE;
   

5. 対象テーブル ambulance_data_csv_load_dynpt のデータを検証します。サンプルコマンド：

   -- 全表スキャンを有効化します。この設定は現在のセッションのみ有効です。
   SET odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_csv_load_dynpt;
   
   -- 次の結果が返されます：
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitude | locationlongitude | recordtime     | direction  | ds         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          | 20200909   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW         | 20200909   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200909   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          | 20200909   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200910   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200910   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | W          | 20200910   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+