MaxCompute:ORC 外部テーブル

適用範囲

• OSS 外部テーブルはクラスタープロパティをサポートしていません。

• 単一ファイルのサイズは 2 GB を超えることはできません。ファイルが大きすぎる場合は、分割してください。

• MaxCompute と OSS は同じリージョンにある必要があります。

外部テーブルの作成

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS orc
LOCATION '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
STORED AS orc 
LOCATION '<oss_location>' 
tblproperties (
    '<xxx>'='<yyy>'
);

データ書き込み

MaxCompute の書き込み構文の詳細については、「書き込み構文」をご参照ください。

クエリと分析

• SELECT 構文の詳細については、「クエリ構文」をご参照ください。

• クエリプランの最適化の詳細については、「クエリの最適化」をご参照ください。

• ORC 外部テーブルは、述語プッシュダウン (PPD) を有効にすることでクエリの最適化をサポートします。PPD を有効にするには、SQL 文の前に次のパラメーターを追加します：

  PPD パラメーターはネイティブモードでのみ使用されます。ネイティブモードでは、ネイティブスイッチを true に設定する必要があります。

  -- ORC ネイティブリーダーを有効にします。
  SET odps.ext.oss.orc.native=true;
  
  -- ORC PPD を有効にします。
  SET odps.storage.orc.use.predicate.pushdown=true; 

利用シーン

このセクションでは、SNAPPY 圧縮を使用する ORC 外部テーブルを作成し、そのテーブルからデータを読み取り、書き込む方法について説明します。

1. 前提条件

   1. MaxCompute プロジェクトを作成済みであること。

   2. OSS バケットとフォルダを準備します。詳細については、「バケットの作成」および「フォルダの管理」をご参照ください。

      MaxCompute は一部のリージョンにのみデプロイされています。データ接続性の問題を回避するため、MaxCompute プロジェクトと同じリージョンにある OSS バケットを使用してください。

   3. 権限付与

      1. OSS にアクセスするための権限が必要です。Alibaba Cloud アカウント、RAM ユーザー、または RAM ロールを使用して OSS 外部テーブルにアクセスできます。権限付与の詳細については、「OSS に対する STS 権限付与」をご参照ください。

      2. MaxCompute プロジェクトで `CreateTable` 権限が必要です。テーブル操作権限の詳細については、「MaxCompute の権限」をご参照ください。

2. SNAPPY フォーマットのデータファイルを準備します。

   「サンプルデータ」の oss-mc-test バケットに、orc_snappy/dt=20250526 というフォルダ階層を作成し、snappy ファイルを dt=20250526 パーティションフォルダにアップロードします。

3. SNAPPY 圧縮を使用する ORC 外部テーブルを作成します。

   CREATE EXTERNAL TABLE orc_data_type_snappy
   (
       vehicleId INT,
       recordId INT,
       patientId INT,
       calls INT,
       locationLatitute DOUBLE,
       locationLongitude DOUBLE,
       recordTime STRING,
       direction STRING
   )
   PARTITIONED BY (dt STRING )
   ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
   WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
   ) 
   STORED AS ORC  
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/orc_snappy/'
   tblproperties (
       'mcfed.orc.compress'='SNAPPY');

4. パーティションデータをインポートします。OSS 外部テーブルがパーティションテーブルの場合、パーティションデータをインポートするために追加のステップを実行する必要があります。詳細については、「OSS 外部テーブルにパーティションデータを追加する構文」をご参照ください。

   -- パーティションデータをインポート
   MSCK REPAIR TABLE orc_data_type_snappy ADD PARTITIONS;

5. ORC 外部テーブルからデータを読み取ります。

   SELECT * FROM orc_data_type_snappy WHERE dt=20250526 LIMIT 10;

   次の結果が返されます：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20250526   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20250526   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20250526   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20250526   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20250526   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20250526   |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20250526   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20250526   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20250526   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

6. ORC 外部テーブルにデータを書き込み、データをクエリします。

   INSERT INTO orc_data_type_snappy PARTITION (dt ='20250526') 
     VALUES (1,16,76,1,46.81006,-92.08174,'9/14/2014 0:10','SW');
   
   -- 新しく書き込まれたデータをクエリ
   SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' AND recordid=16;

   次の結果が返されます：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+