全部產品
Search
文件中心

Lindorm:添加Spark資料來源

更新時間:Dec 20, 2024

添加Spark資料來源可以實現批量快速匯入資料功能,本文介紹添加Spark資料來源的方法。

前提條件

  • 已購買引擎類型為LTS的Lindorm執行個體。

  • 已建立Lindorm執行個體並開通計算引擎服務,建立方法請參見建立執行個體

添加方式

通過Lindorm控制台添加Spark資料來源

  1. 登入Lindorm管理主控台

  2. 執行個體列表頁,單擊引擎類型為LTS的執行個體ID。

  3. 在左側導覽列選擇資料來源管理

  4. 切換至計算引擎資料來源頁簽,單擊添加資料來源

  5. 添加資料來源對話方塊中配置以下資訊。

    配置項

    說明

    執行個體類型

    固定選擇雲原生多模資料庫Lindorm

    執行個體地區

    選擇目標Lindorm執行個體的所屬地區。

    執行個體ID

    選擇目標Lindorm執行個體ID。

    說明
    • 請確保目標Lindorm執行個體已開通計算引擎服務,具體操作請參見開通與變更配置

    • 請確保目標Lindorm執行個體與引擎類型為LTS的Lindorm執行個體使用相同的專用網路,如果需要跨專用網路關聯執行個體,請參見跨VPC互聯概述

  6. 單擊確定,狀態為已關聯表示Spark資料來源已添加成功。

通過LTS服務添加Spark資料來源

  1. 登入LTS服務,具體操作請參見登入LTS服務

  2. 在左側導覽列選擇資料來源管理 > 添加資料來源

  3. 添加資料來源頁面配置以下參數。

    參數

    說明

    名稱

    固定填寫lts_bulkload_spark

    資料來源類型

    固定選擇Spark

    資料來源參數

    配置Spark資料來源的相關參數。

    {
        "virtualClusterName":"token",
        "hdfsUri":"hdfs://nn1:8020,nn2:8020",
        "sparkEndpoint":"http://192.168.XX.XX:10099"
    }
    • virtualClusterName:Lindorm計算引擎的JAR地址Token值。通過Lindorm控制台的資料庫連接擷取,如下圖所示。擷取Token值

    • hdfsUri:Lindorm執行個體的HDFS串連地址,格式為:hdfs://nn1:8020,nn2:8020

      說明

      串連地址中擷取nn1nn2的方法請提交工單

    • sparkEndpoint:Lindorm計算引擎的JAR專用網路地址。通過Lindorm控制台的資料庫連接擷取,如下圖所示。擷取專用網路地址

  4. 單擊添加