全部產品
Search
文件中心

Dataphin:建立FTP資料來源

更新時間:May 29, 2025

通過建立FTP資料來源能夠實現Dataphin讀取FTP的業務資料或向FTP寫入資料。本文為您介紹如何建立FTP資料來源。

背景資訊

檔案傳輸通訊協定FTP(File Transfer Protocol)是TCP/IP協議組中的一個協議。在開發網站的時候,您可以使用FTP用戶端將網站程式或者網頁通過FTP協議上傳到Web伺服器。如果您使用的是FTP,在對接Dataphin進行資料開發或將Dataphin的資料寫入至FTP的情境中,您需要先完成FTP資料來源的建立。

許可權說明

僅支援擁有建立資料來源許可權點的自訂全域角色和超級管理員資料來源管理員板塊架構師專案系統管理員系統角色建立資料來源。

操作步驟

  1. 在Dataphin首頁的頂部功能表列中,選擇管理中心 > 資料來源管理

  2. 資料來源頁面,單擊+建立資料來源

  3. 建立資料來源頁面的檔案地區,選擇FTP

    如果您最近使用過FTP,也可以在最近使用地區選取項目FTP。同時,您也可以在搜尋方塊中輸入FTP的關鍵詞,快速篩選。

  4. 建立FTP資料來源頁面中,配置串連資料來源參數。

    1. 配置資料來源的基本資料。

      參數

      描述

      資料來源名稱

      填寫資料來源名稱。命名規則如下:

      • 只能包含中文、字母、數字、底線(_)或短劃線(-)。

      • 長度不能超過64個字元。

      資料來源編碼

      配置資料來源編碼後,您可以在Flink_SQL任務中通過資料來源編碼.表名稱資料來源編碼.schema.表名稱的格式引用資料來源中的表;如果需要根據所處環境自動訪問對應環境的資料來源,請通過${資料來源編碼}.table${資料來源編碼}.schema.table的變數格式訪問。更多資訊,請參見Dataphin資料來源表開發方式

      重要
      • 資料來源編碼配置成功後不支援修改。

      • 資料來源編碼配置成功後,才能在資產目錄和資產清單的對象詳情頁面進行資料預覽。

      • Flink SQL中,目前僅支援MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB資料來源。

      資料來源描述

      對資料來源的簡單描述。 不超過128個字元。

      資料來源配置

      選擇需要配置的資料來源:

      • 如果業務資料來源區分生產資料來源和開發資料來源,則選擇生產+開發資料來源

      • 如果業務資料來源不區分生產資料來源和開發資料來源,則選擇生產資料來源

      標籤

      您可根據標籤給資料來源進行分類打標,如何建立標籤,請參見管理資料來源標籤

    2. 配置資料來源與Dataphin的串連參數。

      若您的資料來源配置選擇生產+開發資料來源,則需配置生產+開發資料來源的串連資訊。如果您的資料來源配置為生產資料來源,僅需配置生產資料來源的串連資訊。

      說明

      通常情況下,生產資料來源和開發資料來源需配置為非同一個資料來源,以實現開發資料來源與生產資料來源的環境隔離,降低開發資料來源對生產資料來源的影響。但Dataphin也支援配置成同一個資料來源,即相同參數值。

      參數

      描述

      Protocol

      基於FTP伺服器使用的協議,選擇對應的檔案傳輸通訊協定。目前支援的傳輸協議包括以下幾種:

      • FTP:檔案傳輸通訊協定,用於控制檔案的雙向傳輸,同時也是一個應用程式。

      • SFTP:基於SSH的安全檔案傳送協議,為傳輸檔案提供一種安全的加密方法。

      • FTPS:基於SSL/TLS的檔案傳輸通訊協定,相當於加密的FTP。

      Host

      FTP伺服器位址。

      Port

      FTP伺服器連接埠。

      使用者名稱

      訪問FTP伺服器的使用者名稱。

      認證方式

      • Protocol協議類型為SFTP時,支援輸入密碼上傳密鑰檔案的認證方式。

      • Protocol協議類型為FTPFTPS時,支援輸入密碼的認證方式。

      說明

      密鑰檔案認證方式需上傳SFTP的私密金鑰檔案用於訪問認證,僅支援上傳PEM檔案

      SSLImplicit

      隱式模式。當Protocol選擇為FTPS時,需要配置SSLImplicit參數。當FTP伺服器上開啟SSLImplicit個協議,則需要選擇TRUE,否則選擇FALSE

      connectPattern

      串連模式。當Protocol選擇為FTPFTPS時,需要配置connectPattern參數。參數包括以下兩種:

      • PORT(主動模式):用戶端開啟一個連接埠等伺服器建立資料連線。

      • PASV(被動模式):伺服器開啟一個連接埠等用戶端建立資料連線。

  5. 選擇預設資源群組,該資源群組用於運行與當前資料來源相關任務,包括資料庫SQL、離線整庫遷移、資料預覽等。

  6. 進行測試連接或直接單擊確定進行儲存,完成FTP資料來源的建立。

    單擊測試連接,系統將測試資料來源是否可以和Dataphin進行正常的連通。若直接單擊確定,系統將自動對所有已選中的叢集進行測試連接,但即使所選中的叢集均串連失敗,資料來源依然可以正常建立。

    測試連接針對預設叢集或已經在Dataphin註冊且正常使用的註冊調度叢集進行串連測試預設叢集為系統預設選中,不支援取消選中。註冊調度叢集下不存在資源群組時,不支援進行串連測試,需先建立資源群組後再進行測試連接。

    • 所選叢集只用於測試與當前資料來源的網路連通,不用於後續相關任務的運行。

    • 測試連接時間長度通常在2分鐘內,若逾時,您可以單擊image表徵圖查看具體原因並重試。

    • 無論測試結果為串連失敗串連成功成功有風險,系統都將為您記錄最終結果的產生時間。

      說明

      預設叢集的測試結果包含成功有風險串連成功串連失敗三種串連狀態;在Dataphin註冊的註冊調度叢集的測試結果僅包含串連成功串連失敗兩種串連狀態。

    • 測試結果為串連失敗時,您可以單擊image表徵圖查看具體失敗原因。

    • 測試結果為成功有風險時,代表應用叢集串連成功、調度叢集串連失敗,當前資料來源無法用於資料開發和整合。您可以單擊image表徵圖查看日誌資訊。