全部產品
Search
文件中心

Dataphin:建立通用專案

更新時間:Oct 01, 2025

專案是Dataphin的基主要組織單元,是進行多使用者隔離和存取控制的主要邊界。您開通Dataphin服務後,需要通過專案使用Dataphin。本文為您介紹如何建立專案。

前提條件

在開始執行操作前,請確認您已滿足以下條件:

  • 如果您需要研發流批一體任務,您需要根據業務需求選擇支援流批一體的計算源並進行建立。具體操作,請參見:

  • 如果您選擇的Dataphin計算引擎為MaxCompute,且資料研發過程中需要使用規範建模、即席查詢、MaxCompute SQL計算任務等功能,則在建立專案空間前需要完成MaxCompute計算源的建立。具體操作,請參見建立MaxCompute計算源

    同時,當您的計算引擎選擇為MaxCompute時,您還可以建立Hologres計算源。Hologres計算源繫結項目後您可使用即席查詢、HOLOGRES_SQL計算任務等功能。具體操作,請參見建立Hologres計算源

  • 如果您選擇的Dataphin的計算引擎為Hadoop,且資料研發過程中需要使用規範建模、即席查詢、Hive SQL計算任務等功能,則在建立專案空間前需要完成Hadoop計算源的建立。具體操作,請參見建立Hadoop計算源

  • 如果您選擇的Dataphin的計算引擎為星環TDH,且資料研發過程中需要使用規範建模、即席查詢、INCEPTOR_SQL計算任務等功能,則在建立專案空間前需要完成TDH Inceptor計算源的建立。具體操作,請參見建立TDH Inceptor計算源

  • 如果您選擇的Dataphin的計算引擎為ArgoDB,且資料研發過程中需要使用即席查詢、ARGODB_SQL計算任務等功能,則在建立專案空間前需要完成ArgoDB計算源的建立。具體操作,請參見建立ArgoDB計算源

  • 如果您選擇的Dataphin的計算引擎為StarRocks,且資料研發過程中需要使用即席查詢、STARROCKS_SQL計算任務等功能,則在建立專案空間前需要完成StarRocks計算源的建立。具體操作,請參見建立StarRocks計算源

  • 如果您選擇的Dataphin的計算引擎為Amazon EMR,且資料研發過程中需要使用即席查詢、計算任務等功能,則在建立專案空間前需要完成StarRocks計算源的建立。具體操作,請參見建立Amazon EMR計算源

  • 如果您選擇的Dataphin的計算引擎為SelectDB/Doris,且資料研發過程中需要使用即席查詢、SELECTDB_SQL/DORIS_SQL計算任務等功能,則在建立專案空間前需要完成SelectDB/Doris計算源的建立。具體操作,請參見建立SelectDB或Doris計算源

背景資訊

Dataphin支援以下兩種開發模式的專案:

  • Dev-Prod模式:完成專案的建立後,系統預設產生了開發環境(Dev專案)和生產環境(Prod專案)。Prod專案保障了生產環境專案中的資料安全。如果您管理訴求較強,資料研發人員較多且能力及分工明確,資料計算儲存預算較高,推薦此模式。

  • Basic模式:完成專案的建立後,系統預設產生了Basic專案(開發和生產一體的專案)。Basic專案的資料生產過程穩定且便捷。如果您關注資料研發效率,研發人員職能邊界模糊,計算儲存預算有限制,推薦此模式。

許可權說明

  • 超級管理員、系統管理員、板塊架構師支援建立專案。

  • 超級管理員、系統管理員、板塊架構師支援關閉、開啟資料表讀寫的許可權申請。

操作步驟

  1. 在Dataphin首頁的頂部功能表列中,選擇規劃 > 專案

  2. 專案管理頁面,單擊建立通用專案,進入建立專案對話方塊。

  3. 建立專案對話方塊中,選擇Dev-Prod模式Basic模式後,單擊下一步

    重要

    Basic模式不支援升級為Dev-Prod模式,且Basic模式存在直接變更生產風險,請您謹慎選擇。

    如果選擇了Basic模式,請您謹慎管理專案成員,以控制資料生產的穩定性。

  4. 建立專案對話方塊中,配置參數。

    Dev-Prod模式Basic模式需要配置的參數相同,下面以Dev-Prod模式為例。

    參數

    描述

    歸屬板塊

    資料板塊

    選擇專案所屬的資料板塊。

    基本資料

    公用英文名

    填寫專案的公用英文名。命名規則如下:

    • 包含字母、數字、底線(_)

    • 不支援以LD_開頭。

    • 不能超過64個字元。

    開發環境專案英文名預設以_dev作為尾碼。

    說明

    當計算引擎為MaxCompute時,建議專案的公用英文名與對應的MaxCompute專案名一致。

    一般名稱

    填寫專案的一般名稱。命名規則如下:

    • 包含中文、數字、字母、底線(_)或短劃線(-)。

    • 不支援以LD_開頭。

    • 不能超過64個字元。

    計算源類型

    選擇計算源類型後選擇對應的計算源。

    重要
    • 已繫結項目的計算源,無法被其他專案再次綁定。

    • Dev專案和Prod專案的計算源需保持一致。

    當Dataphin計算引擎初始化為MaxCompute時,離線引擎可選擇MaxComputeHologres。若選擇MaxCompute,則還支援開啟機器學習PAI

    Dataphin對接了人工智慧平台PAI,為您提供了人工智慧平台PAI基礎的演算法調度能力。在人工智慧平台中,建立可視化建模的工作空間時,資源選擇為基於MaxCompute的計算資源群組,詳情請參見人工智慧平台 PAI的AI計算資源群組概述。如果您開啟了人工智慧平台,需要配置以下參數。

    • PAI地區:選擇和Dataphin執行個體所在地區。

    • 訪問方式:選擇人工智慧平台PAI的訪問方式。支援VPC公網訪問方式。

    • AccessKey IDAccessKey Secret:配置成需要訪問PAI帳號的AccessKey ID、AccessKey Secret。

    • PAI專案名稱:選擇PAI專案。

      建議當前Dataphin專案綁定的MaxCompute專案與PAI綁定的MaxCompute專案保持一致。

    當離線引擎選擇StarRocks,且該引擎來自於External catalog下的DataBase,則暫不支援規範建模、Data Integration寫入,以及即席查詢結果的完整資料下載。

    專案預設資源群組

    該專案下建立的任務預設使用此處配置的專案預設資源群組進行調度,僅在專案已開啟離線計算引擎時支援配置。您也可以在任務配置時自訂修改單個任務對應的資源群組。

    • 僅支援選擇資源群組狀態為正常、使用情境包含任務日常調度且和當前專案有關聯關係的資源群組

    • 此處修改了預設資源群組之後,調度資源群組配置為專案預設資源群組的任務,會自動跟隨更新所使用的資源群組。如果您不希望自動更新,請為任務指定單獨的自訂資源群組,請參見計算任務資源配置

    說明
    • 僅在租戶已開啟自訂資源群組功能時支援配置。詳情請參見資源群組概述

    • 使用當前租戶的公用調度資源群組,即租戶預設資源群組。調度高峰期可能出現資源搶佔的情況。

    描述資訊

    填寫對專案的簡單描述,不超過128個字元。

    商務資訊

    空間類型

    區分專案開發工作單位及產出資料特徵,預設為應用程式層。空間類型包括四種:

    • 中介層:通常用於儲存資料並進行加工,提供一致的、準確的、乾淨的資料。

    • 貼源層:通常用來儲存從業務系統中整合的未經處理資料,為後續的加工與開發提供資料的來源。

    • 應用程式層:面向業務需求,定義產生可應用於不同情境的個人化、多樣化的資料指標。

    • 通用層:通常用來儲存通用的摘要資料。如某個主題域下某個維度摘要資料。

    安全設定

    全域安全設定

    安全設定是您可以對資料安全及訪問進行精細化控制、對Spark任務的開關及鑒權模式的設定,來保障資料的安全性。更多資訊,請參見安全設定

    資料結果下載(下載審批)

    Dataphin支援業務資料下載,您可對專案級資料是否可下載進行配置;資料在下載後脫離系統的管控,您可設定浮水印,以提醒注意資料安全,避免隨意分享。更多資訊,請參見資料下載配置

    重要

    系統僅支援非訪客角色的使用者下載資料結果至本地。

    資料許可權審批

    資料許可權審批策略可根據不同的資料等級指定不同的審批規則,能使審批人員著重於高敏感性資料,對於公開的資料,可免除審批,從而降低許可權審批的負擔。更多資訊,請參見資料許可權配置

    資產安全性原則

    安裝後可使用資料安全性原則,保護敏感性資料。可於治理 > 資料安全 > 專案安全性原則模組進行修改。更多資訊,請參見專案安全性原則

    提交設定

    代碼審核

    預設關閉,開啟後還需配置代碼審核人。代碼審核開啟後,該專案下的計算任務在提交時需進行代碼審核。

    代碼審核人預設選中專案系統管理員,並支援自訂選擇多個成員進行審批。

    發布設定

    發布審批

    開啟後配置審批設定,該專案下的對象發布流程必須經過發布審批。

    • 指定審批人:任一審批人同意即通過,任一審批人駁回即終止。可選擇專案系統管理員自訂。選中自訂後,還需選擇一個或至多10個審批人

    • 指定審批模板:根據所選審批模板進行審批。若沒有適用模板可單擊+新增模板,跳轉至審批模板頁面中建立模板。詳情請參見建立和管理審批模板

    任務參數配置

    Flink任務預設參數配置

    • 開啟即時引擎後,您可在文字框輸入Flink相關參數配置。後續建立該專案下的Flink任務時,將預設配置該參數資訊。

    • 參數格式必須為索引值對格式:key:value。如:taskmanager.numberOfTaskSlots:1。

    更多設定

    預設功能菜單

    選擇該專案所歸屬的資料板塊後,系統將根據您所選的空間類型預設勾選對應的功能菜單。您可根據您的業務需求進行勾選修改。

    說明

    選擇Hologres計算引擎時,不支援預設功能菜單。

    生產環境周期性調度

    說明

    Basic專案為周期性調度

    開啟,任務自動調度:開啟時,該專案下的週期性任務新產生的執行個體狀態將與任務狀態一致(歷史執行個體無影響)。

    關閉,任務暫停調度:關閉後,該專案下的週期性任務新產生的執行個體將置為暫停狀態(歷史執行個體無影響)。關閉周期性調度可能造成嚴重後果,請謹慎操作。

    說明

    Dev環境下的執行個體狀態會預設從未運行變更為暫停

  5. 單擊確定,即可完成專案建立。

後續步驟

建立完專案後,即可進入資料研發模組進行資料開發。更多資訊,請參見資料開發概述