MaxCompute:ORC 外部テーブル

構文

ORC ファイルのスキーマと外部テーブルのスキーマが一致しない場合、MaxCompute は以下のように差異を処理します。

• ファイル内の列がテーブルよりも少ない場合：欠落している列は NULL で埋められます。

• ファイル内の列がテーブルよりも多い場合：余分な列は破棄されます。

• 型が一致しない場合：STRING は ORC ファイルから INT データを読み取ることができますが、これは推奨されません。INT が STRING データを読み取る場合、非数値は NULL に変換され、数値は読み取られます。

ORC 外部テーブルを作成するには、簡易構文または完全な構文のいずれかを使用します。

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS ORC
LOCATION '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
STORED AS ORC
LOCATION '<oss_location>'
tblproperties (
    '<xxx>'='<yyy>'
);

共通パラメーター

共通パラメーターの詳細については、「基本構文パラメーター」をご参照ください。

フォーマット固有のパラメーター

ホワイトリストとブラックリスト

MaxCompute の OSS 外部テーブルは、ホワイトリストとブラックリストによるフィルタリングをサポートしています。tblproperties でホワイトリストとブラックリストのパラメーターを設定することで、ディレクトリから読み取るファイルをフィルタリングできます。詳細については、「ホワイトリストとブラックリスト」をご参照ください。

前提条件

1. MaxCompute プロジェクトを作成済みであること。

2. OSS バケットとディレクトリを準備していること。詳細については、「バケットの作成」および「ディレクトリの管理」をご参照ください。

   バケットが MaxCompute プロジェクトと同じリージョンにあることを確認してください。

3. 権限の付与

   1. OSS にアクセスする権限を持っていること。Alibaba Cloud アカウント、RAM ユーザー、または RAM ロールを使用して OSS 外部テーブルにアクセスできます。権限を付与する方法の詳細については、「OSS の STS モード承認」をご参照ください。

   2. MaxCompute プロジェクトの CreateTable 権限を持っていること。テーブル関連の権限の詳細については、「MaxCompute 権限」をご参照ください。

手順 1：データファイルの準備

提供されている サンプルデータ を使用して、oss-mc-test バケットにフォルダーパス orc_snappy/dt=20250526 を作成します。 snappy ファイル を dt=20250526 パーティションフォルダーにアップロードします。

手順 2：外部テーブルの作成

CREATE EXTERNAL TABLE orc_data_type_snappy
(
    vehicleId INT,
    recordId INT,
    patientId INT,
    calls INT,
    locationLatitute DOUBLE,
    locationLongitude DOUBLE,
    recordTime STRING,
    direction STRING
)
PARTITIONED BY (dt STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
STORED AS ORC
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/orc_snappy/'
tblproperties (
    'mcfed.orc.compress'='SNAPPY'
);

手順 3：既存パーティションの追加

パーティション化された外部テーブルの場合、MSCK REPAIR TABLE を実行して、既存の OSS パーティションを MaxCompute に登録します。完全な構文については、「OSS 外部テーブルにパーティションを追加する」をご参照ください。

MSCK REPAIR TABLE orc_data_type_snappy ADD PARTITIONS;

手順 4：データの読み取り

SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' LIMIT 10;

クエリは以下を返します：

+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
| 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20250526   |
| 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20250526   |
| 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20250526   |
| 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20250526   |
| 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20250526   |
| 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20250526   |
| 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20250526   |
| 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20250526   |
| 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20250526   |
| 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20250526   |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

手順 5：データの書き込み

INSERT INTO orc_data_type_snappy PARTITION (dt = '20250526')
  VALUES (1, 16, 76, 1, 46.81006, -92.08174, '9/14/2014 0:10', 'SW');

-- 挿入された行を検証
SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' AND recordid = 16;

クエリは以下を返します：

+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
| 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
+------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+