全部產品
Search
文件中心

MaxCompute:壓縮資料從OSS遷移至MaxCompute

更新時間:Dec 24, 2025

本文為您介紹如何通過MaxCompute外部表格能力,將SNAPPY壓縮檔資料(以半形逗號分隔)從OSS遷移至MaxCompute。

前提條件

  • 已開通MaxCompute並建立專案,詳情請參見建立MaxCompute專案

  • 已開通OSS並建立儲存空間,且Bucket中有壓縮資料SNAPPY檔案,開通OSS建立儲存空間詳情請參見控制台建立儲存空間

    本文使用的樣本檔案所在的OSS Bucket地區為:新加坡,檔案路徑為:mfosscostfee-intl/demo/

    oss實際使用過程中,請以您檔案的實際情況為準。

壓縮資料從OSS遷移至MaxCompute

  1. 登入MaxCompute串連開發工具。

    MaxCompute支援您從如下平台建立OSS外部表格,選擇一個開發工具使用。

    建立方式

    平台

    基於MaxCompute SQL建立OSS外部表格

    MaxCompute用戶端

    使用DataWorks串連

    DataWorks控制台-ODPS SQL節點

    MaxCompute Studio-SQL程式

    以可視化方式建立OSS外部表格

    MaxCompute Studio-SQL程式

    DataWorks控制台-外部表格

  2. 建立OSS外部表格。

    命令樣本如下所示,建立外部表格文法詳情請參見建立OSS外部表格

    --建立外部表格
    create external table if not exists mc_oss_ext_snap_split
    (
    str1 string,
    str2 string,
    str3 string,
    str4 string,
    str5 string,
    str6 string,
    str7 string,
    str8 string,
    str9 string,
    str10 string,
    str11 string,
    str12 string,
    str13 string,
    str14 string,
    str15 string,
    str16 string,
    str17 string,
    str18 string
    )
    ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
    WITH SERDEPROPERTIES ('field.delim'=',') --Snappy內容以(,)分隔
    STORED AS TEXTFILE
    location 'oss://oss-cn-beijing-internal.aliyuncs.com/mfosscostfee/demo7/'
    ;                        
  3. 讀取外部表格資料寫入MaxCompute內部表。

    命令樣本如下所示。

    --建立內部表
    create table if not exists mc_oss_snap_split
    (
    str1 string,
    str2 string,
    str3 string,
    str4 string,
    str5 string,
    str6 string,
    str7 string,
    str8 string,
    str9 string,
    str10 string,
    str11 string,
    str12 string,
    str13 string,
    str14 string,
    str15 string,
    str16 string,
    str17 string,
    str18 string
    );
    --讀取外表資料寫入內部表資料
    insert into table mc_oss_snap_split select * from mc_oss_ext_snap_split limit 10;
  4. 查詢內部表資料。

    使用如下命令查詢內部表資料。

    select str2,str3 from mc_oss_snap_split;

    樣本返回結果如下。

    +------------+------------+
    | str2       | str3       |
    +------------+------------+
    | 113.221620 | 23.398279  |
    | 113.288735 | 23.157167  |
    | 113.040365 | 23.681102  |
    | 113.910224 | 22.757139  |
    | 119.086087 | 33.583632  |
    | 113.363475 | 23.141354  |
    | 113.328440 | 23.130362  |
    | 113.249651 | 23.205976  |
    | 113.258325 | 23.159060  |
    | 117.463688 | 38.836611  |
    +------------+------------+

    說明壓縮資料已從OSS遷移至MaxCompute中。