すべてのプロダクト
Search

このプロダクト

    Lindorm:Sparkデータソースの追加

    ドキュメントセンター

    Lindorm:Sparkデータソースの追加

    最終更新日:Jan 14, 2025

    LindormインスタンスにSparkデータソースを追加して、インスタンスにデータをバッチで迅速にインポートできます。このトピックでは、Sparkデータソースを追加する方法について説明します。

    前提条件

    • Lindorm Tunnel Service (LTS) インスタンスが購入済みであること。

    • Lindorm Distributed Processing System (LDPS) が有効化されたLindormインスタンスが作成されていること。詳細については、「インスタンスの作成」をご参照ください。

    手順

    Lindormコンソールを使用してSparkデータソースを追加する

    1. Lindormコンソールにログインします。

    2. インスタンス一覧 ページで、エンジンの種類が [LTS] のインスタンスのIDをクリックします。

    3. 左側のナビゲーションペインで、[データソース] をクリックします。

    4. [コンピューティングエンジンデータソース] タブをクリックし、[データソースの追加] をクリックします。

    5. [データソースの追加] ダイアログボックスで、次の表に示すパラメーターを設定します。

      パラメーター

      説明

      インスタンスタイプ

      [lindorm] を選択します。

      リージョン

      Lindormインスタンスがデプロイされているリージョンを選択します。

      インスタンスID

      LindormインスタンスのIDを選択します。

      説明

      • LindormインスタンスでLDPSが有効になっていることを確認してください。詳細については、「LDPSを有効化し、構成を変更する」をご参照ください。

      • LindormインスタンスとLTSインスタンスが同じ仮想プライベートクラウド (VPC) にあることを確認してください。異なるVPCにまたがるインスタンスを関連付ける方法の詳細については、「VPC接続の概要」をご参照ください。

    6. [OK] をクリックします。Sparkデータソースの状態が [関連付け済み] の場合、データソースが追加されます。

    LTSを使用してSparkデータソースを追加する

    1. LTSインスタンスのWeb UIにログインしていること。詳細については、「LTSを有効化してログインする」をご参照ください。

    2. LTSコンソールの左側のナビゲーションペインで、[データソース管理] > [データソースの追加] を選択します。

    3. [データソースの追加] ページで、次の表に示すパラメーターを設定します。

      パラメーター

      説明

      名前

      [lts_bulkload_spark] と入力します。

      データソースの種類

      [spark] を選択します。

      パラメーター

      Sparkデータソースのパラメーターを設定します。

      {
    // LDPS の JAR アドレスのトークン。
    "virtualClusterName":"token",
    // Lindorm インスタンスの HDFS エンドポイント。
    "hdfsUri":"hdfs://nn1:8020,nn2:8020",
    // LDPS の JAR VPC アドレス。
    "sparkEndpoint":"http://192.168.XX.XX:10099"
}

      • virtualClusterName: LDPSのJARアドレスのトークン。Lindormインスタンスのトークンは、インスタンスの詳細ページの左側のナビゲーションペインで [データベース接続] を選択し、[コンピューティングエンジン] タブをクリックすることで取得できます。次の図を参照してください。

      • hdfsUri: LindormインスタンスのHDFSエンドポイント。形式は hdfs://nn1:8020,nn2:8020 です。

        説明

        エンドポイントの nn1 と nn2 の値を取得するには、チケットを提出 してください。

      • sparkEndpoint: LDPSのJAR VPCアドレス。アドレスは、インスタンスの詳細ページの左側のナビゲーションペインで [データベース接続] を選択し、[コンピューティングエンジン] タブをクリックすることで取得できます。次の図を参照してください。

    4. [追加] をクリックします。