將本地檔案或OSS等資料上傳至MaxCompute等引擎-巨量資料開發治理平台 DataWorks-阿里雲 - DataWorks

注意事項

如您涉及跨境操作資料上傳（例如，資料從中國境內傳輸至中國境外、資料在不同省/地區間傳輸等），請提前瞭解相關合規聲明，否則可能導致資料上傳失敗並將承擔相應法律責任。
在進行資料上傳前，建議將您要上傳的資料表頭資訊設定為英文。如果表頭資訊為中文，可能會導致解析失敗，從而引發上傳錯誤。

使用限制

資源群組限制：資料上傳功能需指定調度資源群組和Data Integration資源群組。
- 僅支援使用Serverless資源群組（推薦）、獨享調度資源群組和獨享Data Integration資源群組，必須在資料分析 > 更多 > 系統管理中為相應引擎配置調度資源群組和Data Integration資源群組。
- 所選資源群組需綁定至待接收資料的表所在的DataWorks工作空間，且需確保資料上傳任務使用的資料來源與所選資源群組網路連通。
  說明
  - 通過資料分析配置引擎使用的資源群組，請參見系統管理。
  - 配置資料來源與資源群組網路連通，請參見網路連通方案。
  - 配置獨享資源群組綁定的歸屬工作空間，請參見使用獨享調度資源群組、使用獨享Data Integration資源群組。
資料上傳所需表許可權：
- MaxCompute表（ODPS表）：僅需擁有表的Owner許可權，無需DataWorks工作空間的開發、分析或營運角色許可權。
- 非MaxCompute表（如Hologres、EMR Hive、StarRocks等）：除表的Owner許可權外，還需要擁有DataWorks工作空間的角色許可權。
  - 開發環境的表：需擁有開發角色許可權。
  - 生產環境的表：需擁有營運角色許可權。
表類型限制：支援將目標資料上傳至內表；EMR Hive還支援外表；StarRocks僅支援位於default catalog下的表。

計費說明

資料上傳會產生如下費用：

資料轉送費用。
若涉及建立表，會收取計算和儲存費用。

以上費用均由引擎側收取，具體費用請參見相應引擎的計費文檔MaxCompute計費、Hologres計費、E-MapReduce計費、EMR Serverless StarRocks產品計費。

進入資料上傳頁面

說明

除通過控制台上傳和下載資料外，您還可以使用Data Agent完成資料上傳和下載。

進入資料上傳與下載頁面。

登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的Data Integration > 數據上傳與下載，單擊進入數據上傳與下載，進入上傳與下載頁面。
單擊左側導覽列的表徵圖，進入數據上傳頁面。
單擊數據上傳，根據介面指引上傳目標資料。

選擇待上傳檔案資料

支援上傳本地檔案、試算表、Object Storage Service和HTTP檔案資料，您可根據實際業務情況選擇資料來源來上傳檔案資料。

說明

在進行檔案上傳時，根據需要設定是否需要剔除髒資料。

是：如遇髒資料，平台會自動忽略，繼續上傳資料。
否：如遇髒資料，平台不會自動忽略，此次資料上傳將被阻斷。

本地檔案

如果待上傳的檔案資料為本地檔案，可以選擇此方式進行上傳。

數據來源選擇本地檔案。
指定待上傳數據：根據介面指引將需要上傳的本地檔案拖拽至選擇文件地區。
說明
- 支援CSV、XLS、XLSX、JSON格式，CSV檔案最大支援上傳的資料量為5GB，其他檔案最大支援上傳的資料量為100MB。
- 預設上傳檔案的第一個Sheet。如需上傳某個檔案的多個Sheet資料，則需為每個Sheet建立一個表格，並將其作為表格的第一個Sheet。
- 暫不支援上傳SQL格式檔案。

試算表

如果待上傳的檔案資料為DataWorks資料分析的試算表，可以選擇此方式進行上傳。

數據來源選擇電子表格。
指定待上傳數據：
1. 在選擇文件後面的下拉框中選擇需要上傳的試算表檔案。
2. 如果試算表不存在，可單擊旁邊的新建按鈕進行建立，也可通過資料分析模組建立試算表並匯入資料。

Object Storage Service

如果待上傳的檔案資料為Object Storage Service資料，可以選擇此方式進行上傳。

前提條件：

已開通建立OSS儲存空間，將待上傳檔案資料儲存至OSS Bucket中。後續可將OSS資料上傳至相應資料來源。
為避免許可權限制，請在上傳資料前，通過許可權與存取控制概述為執行資料上傳操作的阿里雲帳號授予訪問目標Bucket的許可權。

上傳步驟：

數據來源選擇對象存儲 OSS。
指定待上傳數據：
1. 在選擇 Bucket下拉框中，選擇儲存待上傳資料的目標OSS Bucket。
  
  說明
  僅支援上傳與當前DataWorks工作空間同地區的Bucket資料。
2. 在選擇文件地區，選擇您所需上傳的檔案資料。
  
  說明
  僅支援上傳CSV、XLS、XLSX、JSON格式的檔案資料。

HTTP檔案

如果待上傳的檔案資料為HTTP檔案，可以選擇此方式進行上傳。

數據來源選擇HTTP文件。

指定待上傳數據：

參數	配置說明
文件地址	選擇存放檔案資料的地址。說明支援HTTP和HTTPS格式的檔案地址。
文件類型	根據您所上傳的檔案類型進行自動識別。支援`CSV`、`XLS`、`XLSX`格式的檔案類型。`CSV`檔案最大支援上傳的資料量為5GB，其他檔案最大支援上傳的資料量為50MB。
請求Method	支援GET、POST或PUT三種方式。通常建議使用GET請求擷取資料，但具體可根據您定義的允許要求方法（Method）進行設定。
高級參數	您也可根據業務情況，在高級參數裡面設定請求Header、請求Body資訊。

設定資料存放區目標表

您可以在設定目標表地區選取項目資料上傳的目標引擎，並根據所選引擎配置相關參數。

重要

在設定資料存放區目標表時，選擇資料來源時需注意區分 PROD（生產環境）和 DEV（開發環境）。如果選擇錯誤，會導致資料上傳到其他環境。

MaxCompute

如需將資料上傳到MaxCompute對應的內表中，可參考下表進行相關參數配置。

參數		配置說明
MaxCompute專案名稱		支援選擇您在當前地區綁定的MaxCompute資料來源。如未找到所需上傳的資料來源，可通過在當前工作空間綁定MaxCompute計算資源來產生同名的資料來源。
目標表		支援選擇已有表或新建表。
目標表 > 已有表	選擇目標表	存放待上傳資料的表。支援通過關鍵字匹配搜尋。說明僅支援將目標資料上傳至自己名下的表（即您為表的Owner），詳情請參見使用限制。
目標表 > 已有表	上傳方式	選擇以哪種方式將待上傳資料添加至目標表中。先清空錶數據：先清空目標表資料，再將資料全量匯入至目標表中相應的映射欄位。追加：將待上傳資料追加至目標表相應映射欄位中。
目標表 > 新建表	表名	自訂建立表表名。說明 MaxCompute引擎建立表過程，使用的是DataWorks計算資源裡面配置的MaxCompute帳號資訊，然後在MaxCompute對應專案中進行建表操作。
	表類型	根據需要選擇非分區表或分區表。若選擇分區表，則需指定分區欄位及其取值。
	生命週期	指定表的可用周期，到期後該表可能無法使用。更多表生命週期的介紹，詳情請參見生命週期、生命週期操作。

EMR Hive

如需將資料上傳到EMR Hive對應的內表或外表中，可參考下表進行相關參數配置。

參數	配置說明
資料來源	支援選擇您在當前地區工作空間綁定的EMR Hive資料來源（阿里雲執行個體模式）。
目標表	僅支援將資料上傳到已有表。
選擇目標表	存放待上傳資料的表。支援通過關鍵字匹配搜尋，可選擇EMR Hive內表或外表。說明如果目標表不存在，可按照介面提示前往資料開發的表管理中建立表。僅支援將目標資料上傳至自己名下的表（即您為表的Owner），詳情請參見使用限制。
上傳方式	選擇以哪種方式將待上傳資料添加至目標表中。先清空錶數據：先清空目標表資料，再將資料全量匯入至目標表中相應的映射欄位。追加：將待上傳資料追加至目標表相應映射欄位中。

Hologres

如需將資料上傳到Hologres對應的內表中，可參考下表進行相關參數配置。

參數	配置說明
資料來源	支援選擇您在當前地區工作空間綁定的Hologres資料來源。如未找到所需上傳的資料來源，可通過在當前工作空間綁定Hologres計算資源來產生同名的資料來源。
目標表	僅支援將資料上傳到已有表。
選擇目標表	存放待上傳資料的表。支援通過關鍵字匹配搜尋。說明如果目標表不存在，可按照介面提示前往Hologres控制台建立表。僅支援將目標資料上傳至自己名下的表（即您為表的Owner），詳情請參見使用限制。
上傳方式	選擇以哪種方式將待上傳資料添加至目標表中。先清空錶數據：先清空目標表資料，再將資料全量匯入至目標表中相應的映射欄位。追加：將待上傳資料追加至目標表相應映射欄位中。
主鍵衝突策略	若上傳資料導致目標表主鍵衝突，可採取如下處理策略。忽略：忽略上傳的資料，目標表中的資料不會更新。更新(replace)：上傳的資料會全量覆蓋目標表的舊資料，未配置列映射的欄位強制寫為NULL。更新(update)：上傳的資料覆蓋目標表的舊資料，但僅覆蓋配置有列映射的欄位資料。

StarRocks

如需將資料上傳到StarRocks default catalog對應的表中，可參考下表進行相關參數配置。

參數	配置說明
資料來源	支援選擇您在當前地區工作空間綁定的StarRocks資料來源。
目標表	僅支援將資料上傳到已有表。
選擇目標表	存放待上傳資料的表。支援通過關鍵字匹配搜尋。說明如果目標表不存在，可按照介面提示前往EMR Serverless StarRocks執行個體頁建立表。僅支援將目標資料上傳至自己名下的表（即您為表的Owner），詳情請參見使用限制。
上傳方式	選擇以哪種方式將待上傳資料添加至目標表中。先清空錶數據：先清空目標表資料，再將資料全量匯入至目標表中相應的映射欄位。追加：將待上傳資料追加至目標表相應映射欄位中。
進階參數	可配置Stream Load請求參數。

預覽待上傳檔案資料

設定資料存放區目標表後，您可根據資料預覽情況調整檔案編碼和資料對應關係。

說明

目前僅支援預覽前20條資料。

檔案編碼：若資料存在亂碼，則可切換編碼格式。支援選擇UTF-8、GB18030、Big5、UTF-16LE、UTF-16BE。
預覽資料並設定目標表欄位：
- 上傳資料至已有表：需配置資料所在檔案的列與目標表欄位的映射關係，配置後相關資料才可被成功上傳。映射方式包括按列名映射及按順序映射。映射後您也可自訂目標表的欄位名稱。
  說明
  - 若待上傳資料與目標表欄位不存在映射關係，則該資料將會被置灰，且不會被上傳。
  - 待上傳資料與目標表欄位不能存在重複映射關係。
  - 欄位名稱和欄位類型不可為空，否則資料無法上傳。
- 上傳資料至建立表：可通過智能字段生成自動填滿欄位資訊，也可手動修改欄位資訊。
  說明
  - 欄位名稱和欄位類型不可為空，否則資料無法上傳。
  - EMR Hive、Hologres、StarRocks引擎不支援在資料上傳建立表。
忽略首行：是否將檔案資料的首行（通常為列名稱）上傳至目標表中。
- 勾選：檔案首行為列名時，首行不上傳至目標表。
- 不勾選：檔案首行為資料時，首行上傳至目標表。

上傳資料

完成資料預覽操作後，您可單擊左下方的數據上傳按鈕，對資料進行上傳。

上傳過程中，您可以查看任務日誌，瞭解上傳進度。上傳成功或失敗後，您也可以查看日誌，確認上傳結果或排查問題。

後續操作

資料上傳完成後，您可單擊左側導覽列的表徵圖，進入數據上傳頁面，找到已建立的資料上傳任務，並根據需求執行相關操作：

查看日誌：上傳過程中以及上傳成功或失敗後，查看任務日誌。
繼續上傳：單擊操作欄的繼續上傳，對資料進行再次上傳。
資料查詢：單擊操作欄的數據查詢，對資料進行查詢與分析。
查看上傳資料詳情：單擊目標表名稱，即可進入資料地圖查看目標表詳細資料。詳情請參見中繼資料檢索。

附錄：跨境操作資料上傳的合規聲明

重要

如您涉及跨境操作資料上傳（例如，資料從中國境內傳輸至中國境外、資料在不同省/地區間傳輸等），請提前瞭解相關合規聲明，否則可能導致資料上傳失敗並將承擔相應法律責任。

資料跨境操作將導致您的雲上業務資料轉送至您所選擇的地區或產品部署地區，您應確保相關操作遵循如下要求：

擁有相關雲上業務資料的處理許可權。
採取充分的資料安全保護技術及策略。
資料轉送行為符合相關法律法規的要求。例如，傳輸的資料不含任何所適用法律限制、禁止傳輸或披露的內容。

阿里雲特別提示您，若您的資料上傳操作可能導致資料跨境傳輸，請在開展相關操作前諮詢專業的法律或合規人員，確保資料跨境傳輸行為符合所適用的法律法規及監管政策的要求（例如，獲得個人資訊主體的有效授權、完成相關合約條款的簽署及備案、完成相關安全評估等法定義務）。

若未遵守該合規聲明便開展資料跨境操作，您將承擔對應的法律後果。同時，導致阿里雲及其關係企業遭受的任何損失，您應承擔賠償責任。

常見問題

配置資源群組問題。

報錯資訊：當前檔案來源或者目標引擎需要配置資源群組進行資料上傳，請聯絡空間管理員進行資源群組的配置。

解決方案：通過資料分析配置引擎使用的資源群組，請參見系統管理。
綁定資源群組問題。

報錯資訊：您當前空間配置的全域資料上傳使用的資源群組和上傳表所屬的工作空間未進行綁定，請聯絡空間管理員進行綁定。

解決方案：您可將您在系統管理設定的資源群組綁定為工作空間資源群組。

DataWorks：資料上傳