MaxCompute控制台提供資料上傳功能,支援您將本地檔案或阿里雲Object Storage Service服務OSS中的檔案資料離線(非即時)上傳至MaxCompute進行分析處理及相關管理操作。
使用限制
僅支援基於本地檔案或阿里雲Object Storage Service上傳資料,具體如下。
本地檔案:支援上傳CSV或XLSX格式的檔案資料。
CSV格式:最大支援上傳5 GB資料
XLSX格式:最大支援上傳100 MB資料。
阿里雲Object Storage Service:僅支援上傳CSV格式的檔案資料,資料量最大支援5 GB,且該資料所在的Bucket必須與當前MaxCompute專案位於同一地區。
不支援將資料上傳到具有自訂Schema的表中(包括已有表和建立表),自訂Schema相關資訊請參見Schema操作。
前提條件
操作步驟
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列選擇資料轉送 > 資料上傳,進入資料上傳頁面。
在資料上傳頁面參考表1 上傳目標資料配置各項參數。
表 1. 上傳目標資料
類別
參數名
描述
資料來源
本地檔案
基於本地檔案上傳資料。
僅支援上傳一個CSV檔案或XLSX檔案:
CSV檔案:最大支援上傳5 GB資料,檔案裡的資料以半形逗號(,)分隔。
XLSX檔案:最大支援上傳100 MB資料。預設僅上傳XLSX檔案中首個Sheet頁的資料,如果有多個Sheet,則其他Sheet的資料將被忽略。
阿里雲Object Storage Service
基於阿里雲Object Storage Service上傳資料。
僅支援選擇當前地區下Bucket中的CSV檔案。支援單次上傳的最巨量資料量為5 GB,若無可訪問的Bucket,需要建立Bucket,詳情請參見建立儲存空間。
說明若待上傳的資料量超過5 GB,您可以將資料進行拆分上傳,否則會導致上傳失敗。
指定待上傳資料
選擇Bucket
資料來源指定為阿里雲Object Storage Service時,選擇目標檔案所在的OSS Bucket路徑。
選擇檔案
選擇目標CSV檔案或XLSX檔案。
是否剔除髒資料
根據需要選擇在上傳檔案資料時,是否剔除待上傳檔案中與MaxCompute目標表的列類型不統一的資料。
說明例如:待上傳的資料中,某列值為含字母的字串類型,但對應目標表的列是BIGINT類型,那麼該資料將被視為髒資料。若選擇了剔除髒資料,則該條資料不會被上傳。
是:剔除待上傳檔案中與目標表中的列類型不統一的資料。
否:資料全量上傳。
設定目標表
MaxCompute專案名稱
存放資料的MaxCompute專案。
目標表
根據需要選擇將資料上傳至已有表還是建立表:
已有表:配置方式請參見表2 上傳資料至已有表。
建立表:配置方式請參見表3 上傳資料至建立表。
表 2. 上傳資料至已有表
參數名
描述
選擇目標表
在下拉式清單中選擇存放待上傳資料的MaxCompute表。支援通過關鍵字匹配搜尋。
上傳方式
根據配置的目標表映射關係,將待上傳資料以指定方式添加至目標表中。
先清空表資料:直接覆蓋目標表中相應映射欄位的資料。
追加:將待上傳資料追加至目標表映射欄位中。
說明配置映射關係,詳情請參見預覽待上傳資料並設定目標表欄位。
表 3. 上傳資料至建立表
參數名
描述
表名
自訂表格名稱。
表類型
根據需要選擇非分區表或分區表,若選擇分區表,則需指定分區欄位及其取值。
生命週期
預覽待上傳資料並設定目標表欄位。
選擇待上傳資料及存放該資料的目標表後,您可預覽資料詳情,並配置資料所在檔案的列與目標表欄位的映射關係,配置後相關資料才可被成功上傳,配置方式如下。
說明目前僅支援預覽前20條資料。
類別
參數名
描述
上傳檔案資料預覽
檔案編碼
若檔案存在亂碼,則可切換可用編碼。支援選擇UTF-8、GB18030或Big5。
按列名映射
將待上傳檔案中的列與目標表中的列基於列名進行對應匯入。
按順序映射
將待上傳檔案中的資料按欄位順序匯入目標表。
忽略首行
是否將待上傳檔案資料的首行(通常為列名稱)上傳至目標表中。
勾選:檔案首行不上傳至目標表中。
不勾選:檔案首行將上傳至目標表中。
單擊上傳資料,提交上傳。
重要若待上傳資料與目標表欄位不存在映射關係,則該資料將會被置灰,且不會被上傳。
待上傳資料與目標表欄位不能存在重複映射關係。
欄位名稱和欄位類型不可為空,否則資料無法上傳。
查看上傳記錄
提交上傳後,若資料量較大,需要耗費一些時間,您無需在提交頁面一直等待,可後續通過單擊資料上傳頁面右上方的查看上傳記錄查看通過該功能上傳資料的詳情記錄。
通過該頁面的查看上傳記錄查詢到的記錄詳情也包含使用DataWorks資料上傳操作產生的記錄。
後續操作
資料上傳成功後,您可根據需要通過串連工具對MaxCompute目標表進行資料查詢。