全部產品
Search
文件中心

Dataphin:建立Amazon EMR計算源

更新時間:May 29, 2025

Amazon EMR計算源用於綁定Dataphin專案空間,為Dataphin專案提供處理計算任務的計算源。如果Dataphin系統的計算引擎設定為Amazon EMR,則只有專案空間添加了Amazon EMR計算源,才支援使用計算任務、即席查詢、泛型指令碼等功能。本文為您介紹如何建立Amazon EMR計算源。

前提條件

操作步驟

  1. 在Dataphin首頁的頂部功能表列中,選擇規劃 > 計算源

  2. 計算源頁面,單擊新增計算源,選擇Amazon EMR計算源

  3. 建立Amazon EMR計算源對話方塊中,配置以下參數。

    參數

    描述

    計算源基本資料

    計算類型

    選擇為Amazon EMR

    計算源名稱

    支援中文、英文、數字、底線(_)和短劃線(-),長度不超過64個字元。

    配置方式

    當前僅支援引用指定叢集,支援輸入關鍵字搜尋。選擇完成後可單擊查看,跳轉至查看Amazon EMR叢集頁面,查看叢集資訊。

    計算源描述(非必填)

    填寫計算源的簡單描述,長度不超過128個字元。

    計算配置

    主節點公有DNS

    系統自動從所選Amazon EMR叢集中擷取,不支援修改。

    Database

    輸入Amazon EMR計算引擎的資料庫名稱。

    Spark SQL

    可選擇開啟關閉,預設為開啟。

    說明

    僅當引用的指定叢集開啟了Spark SQL時,支援配置此項。

    Spark本地用戶端

    可選擇開啟關閉,預設為開啟。

    說明

    僅當引用的指定叢集開啟了Spark SQL,且開啟了Spark本地用戶端時,支援配置此項。

    生產任務預設隊列(非必填)

    輸入yarn資源隊列,生產環境中手動及週期性任務運行時將使用該隊列。

    其他任務隊列(非必填)

    輸入yarn資源隊列,其他任務(例如即席查詢、資料預覽、JDBC Driver訪問)運行時將使用該隊列。

    優先順序任務隊列

    可選擇使用生產任務預設隊列自訂

    若選擇自訂,則可為每一種優先順序指定yarn資源隊列。

    說明

    Dataphin在調度Hive SQL任務時會根據任務的優先順序將任務發送到相應的隊列執行。Hive的執行引擎設定為Tez或Spark時,必須設定不同的優先順序隊列,任務的優先順序設定才可生效。

  4. 單擊提交

    完成建立Amazon EMR計算源後,即可為專案綁定Amazon EMR計算源,詳情請參見建立通用專案