MaxCompute:ORC 外部テーブル

構文

ORC ファイルのスキーマと外部テーブルのスキーマが一致しない場合、MaxCompute は次のように差異を処理します：

• ファイルのカラム数がテーブルのカラム数より少ない場合：不足しているカラムは NULL で埋められます。

• ファイルのカラム数がテーブルのカラム数より多い場合：余分なカラムは破棄されます。

• 型が不一致の場合：STRING は ORC ファイルから INT データを読み取ることができますが、これは推奨されません。INT が STRING データを読み取る場合、非数値は NULL に変換され、数値は受け入れられます。

簡易構文または完全な構文のいずれかを使用して、ORC 外部テーブルを作成します。

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS orc
LOCATION '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
STORED AS orc
LOCATION '<oss_location>'
tblproperties (
    '<xxx>'='<yyy>'
);

共通パラメーター

共通パラメーターの詳細については、「基本構文パラメーター」をご参照ください。

フォーマット固有のパラメーター

ホワイトリストとブラックリスト

MaxCompute の OSS 外部テーブルは、ホワイトリストとブラックリストによるフィルタリングをサポートしています。tblproperties でホワイトリストとブラックリストのパラメーターを設定することで、ディレクトリから読み取るファイルをフィルタリングできます。詳細については、「ホワイトリストとブラックリスト」をご参照ください。

前提条件

1. MaxCompute プロジェクトを作成しておく必要があります。

2. OSS バケットとディレクトリを準備しておく必要があります。詳細については、「バケットの作成」および「ディレクトリの管理」をご参照ください。

   バケットが MaxCompute プロジェクトと同じリージョンにあることを確認してください。

3. 権限の付与

   1. OSS にアクセスする権限が必要です。OSS 外部テーブルには、Alibaba Cloud アカウント、RAM ユーザー、または RAM ロールを使用してアクセスできます。権限付与方法の詳細は、「OSS の STS モード認証」をご参照ください。

   2. MaxCompute プロジェクトで CreateTable 権限が必要です。テーブル関連の権限の詳細は、「MaxCompute 権限」をご参照ください。

ステップ 1：データファイルの準備

提供されているサンプルデータを使用して、oss-mc-test バケットにフォルダパス orc_snappy/dt=20250526 を作成し、snappy ファイルを dt=20250526 パーティションフォルダにアップロードします。

ステップ 2：外部テーブルの作成

CREATE EXTERNAL TABLE orc_data_type_snappy
(
    vehicleId INT,
    recordId INT,
    patientId INT,
    calls INT,
    locationLatitute DOUBLE,
    locationLongitude DOUBLE,
    recordTime STRING,
    direction STRING
)
PARTITIONED BY (dt STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
STORED AS ORC
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/orc_snappy/'
tblproperties (
    'mcfed.orc.compress'='SNAPPY'
);

ステップ 3：既存のパーティションの追加

パーティション化された外部テーブルの場合、MSCK REPAIR TABLE を実行して、既存の OSS パーティションを MaxCompute に登録します。完全な構文については、「OSS 外部テーブルへのパーティションの追加」をご参照ください。

MSCK REPAIR TABLE orc_data_type_snappy ADD PARTITIONS;

ステップ 4：データの読み取り

SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' LIMIT 10;

クエリは以下を返します：

+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
| 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20250526   |
| 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20250526   |
| 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20250526   |
| 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20250526   |
| 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20250526   |
| 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20250526   |
| 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20250526   |
| 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20250526   |
| 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20250526   |
| 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20250526   |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

ステップ 5：データの書き込み

INSERT INTO orc_data_type_snappy PARTITION (dt = '20250526')
  VALUES (1, 16, 76, 1, 46.81006, -92.08174, '9/14/2014 0:10', 'SW');

-- 挿入された行を検証
SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' AND recordid = 16;

クエリは以下を返します：

+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+