高速なバッチデータインポートのために、Spark データソースを追加できます。本トピックでは、Spark データソースの追加手順について説明します。
前提条件
-
Lindorm Tunnel Service (LTS) エンジンを備えた Lindorm インスタンスが存在すること。
-
Lindorm Distributed Processing System (LDPS) が有効化された Lindorm インスタンスが存在すること。詳細については、「インスタンスの作成」をご参照ください。
操作手順
Lindorm コンソールで
Lindorm コンソールにログインします。
-
インスタンス一覧ページで、LTS エンジンを使用するインスタンスの ID をクリックします。
-
左側のナビゲーションウィンドウで、Data Sources をクリックします。
-
Compute Engine Data Sourceタブで、Add Data Source をクリックします。
-
Add Data Sourceダイアログボックスで、以下の表に示すパラメーターを設定します。
パラメーター
説明
Instance Type
Lindorm を選択します。
Region
対象の Lindorm インスタンスのリージョンを選択します。
Instance ID
対象の Lindorm インスタンスの ID を選択します。
-
Determine をクリックします。Associated のステータスが表示されれば、Spark データソースが正常に追加されています。
Lindorm Tunnel Service (LTS)
-
LTS にログインします。詳細については、「LTS の有効化とログイン」をご参照ください。
-
左側のナビゲーションウィンドウで、 を選択します。
-
Add Data Sourceページで、以下の表に示すパラメーターを設定します。
パラメーター
説明
Name
lts_bulkload_spark を入力します。
Data source type
Spark を選択します。
データソースパラメーター
Spark データソースのパラメーターを設定します。
{ "virtualClusterName":"token", "hdfsUri":"hdfs://nn1:8020,nn2:8020", "sparkEndpoint":"http://192.168.XX.XX:10099" }-
virtualClusterName:LDPS JAR アドレスのトークンです。トークンを取得するには、Lindorm コンソールで Database Connectionsページに移動します。
virtualClusterNameのトークン値は、Lindorm コンソールのデータベース接続ページでコンピューティングエンジンタブを選択し、トークンフィールドの値を確認することで取得できます。 -
hdfsUri:Lindorm インスタンスの HDFS 接続エンドポイントです。形式はhdfs://nn1:8020,nn2:8020です。説明接続エンドポイントの
nn1およびnn2の値を取得するには、「オープンソース HDFS クライアントを使用した LindormDFS への接続と利用」をご参照ください。hdfs-site 情報にnn1およびnn2のアドレスが含まれています。 -
sparkEndpoint:LDPS JAR の VPC アドレスです。このアドレスを取得するには、Lindorm コンソールで Database Connectionsページに移動します。
sparkEndpointの値は、Lindorm コンソールのデータベース接続ページでコンピューティングエンジンタブを選択し、JAR VPC アドレスフィールドの値を確認することで取得できます。
-
-
Add をクリックします。