RCFILE外部表格 - MaxCompute

本文為您介紹RCFILE格式的OSS外部表格的建立、讀取及寫入方法。

前提條件

已具備訪問OSS的許可權。阿里雲帳號（主帳號）、RAM使用者或RAMRole身份可以訪問OSS外部表格，授權資訊請參見OSS的STS模式授權。
（可選）已準備好OSS儲存空間（Bucket）、OSS目錄及OSS資料檔案。具體操作請參見建立儲存空間、管理目錄和簡單上傳。
MaxCompute已支援在OSS側自動建立目錄，對於攜帶外部表格及UDF的SQL語句，您可以通過一條SQL語句執行讀寫外部表格及UDF的操作。原手動建立目錄方式仍然支援。
已建立MaxCompute專案。具體操作請參見建立MaxCompute專案。
由於MaxCompute只在部分地區部署，跨地區的資料連通性可能存在問題，因此建議Bucket與MaxCompute專案所在地區保持一致。
已具備在MaxCompute專案中建立表（CreateTable）的許可權。表操作的許可權資訊請參見MaxCompute許可權。

使用限制

OSS外部表格不支援cluster屬性。
單個檔案大小不能超過3 GB，如果檔案過大，建議拆分。

資料類型支援

說明

下表中已開通表示支援，未開通表示不支援。

MaxCompute資料類型詳情請參見1.0資料類型版本、2.0資料類型版本。

資料類型	是否支援	資料類型	是否支援
TINYINT		STRING
SMALLINT		DATE
INT		DATETIME
BIGINT		TIMESTAMP
BINARY		TIMESTAMP_NTZ
FLOAT		BOOLEAN
DOUBLE		ARRAY
DECIMAL(precision,scale)		MAP
VARCHAR(n)		STRUCT
CHAR(n)		JSON

建立外部表格

文法結構

CREATE EXTERNAL TABLE [IF NOT EXISTS] mc_oss_rcfile_extable
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'
STORED AS rcfile
LOCATION 'oss_location';

參數說明

詳情請參見基礎文法參數說明。

寫入資料

MaxCompute寫入資料至OSS的文法，詳情請參見將資料寫入OSS。

查詢分析

SELECT文法，詳情請參見讀取OSS資料。
最佳化查詢計劃，詳情請參見查詢最佳化。

情境樣本

通過內建開來源資料解析器建立RCFILE格式外部表格，並將資料寫入OSS進行查詢。

準備資料。
登入OSS控制台，上傳測試資料RCFILE格式資料檔案至OSS Bucket指定目錄oss-mc-test/Demo_rcfile+pt/dt=20250521/。具體操作請參見OSS檔案上傳。

建立RCFILE外表。

CREATE EXTERNAL TABLE  mc_oss_rcfile_extable2_pt
(
  vehicleId STRING ,
  recordId STRING,
  patientId STRING,
  calls STRING,
  locationLatitute STRING,
  locationLongtitue STRING,
  recordTime STRING,
  direction STRING
)
PARTITIONED BY (dt STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'
STORED AS rcfile
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/Demo_rcfile+pt/';

引入分區資料。當建立的OSS外部表格為分區表時，需要額外執行引入分區資料的操作，詳情請參見補全OSS外部表格分區資料文法。
```
--引入分區資料。
MSCK REPAIR TABLE mc_oss_rcfile_extable2_pt ADD PARTITIONS;
```

查詢RCFILE外表。

SELECT * FROM mc_oss_rcfile_extable2_pt WHERE dt=20250521;

寫入RCFILE外表。

INSERT INTO TABLE mc_oss_rcfile_extable2_pt PARTITION (dt=20250521) VALUES ('1','13','76','1','46.81006','-92.08174','9/14/2014 0:10','SW');

查看是否寫入成功。

SELECT * FROM mc_oss_rcfile_extable2_pt WHERE dt=20250521 AND recordId='13';