DataWorks:EMR Spark Streamingノードの作成

EMR JAR リソースの作成と参照

EMR DataLake クラスタを使用する場合は、次の手順を実行して EMR JAR リソースを参照できます。

spark-submit --master yarn
--deploy-mode cluster
--name SparkPi
--driver-memory 4G
--driver-cores 1
--num-executors 5
--executor-memory 4G
--executor-cores 1
--class org.apache.spark.examples.JavaSparkPi
hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

1. EMR JAR リソースを作成します。詳細については、「EMR リソースの作成と使用」をご参照ください。EMR JAR リソースを初めて使用する場合は、[承認] をクリックして、DataWorks が EMR JAR リソースにアクセスすることを承認します。

2. EMR JAR リソースを参照します。

   1. [EMR Spark Streaming] ノードを開きます。ノードの構成タブが表示されます。

   2. [EMR] フォルダーの [リソース] の下にある参照するリソースを見つけ、リソース名を右クリックして、[リソースパスの挿入] を選択します。

   3. ##@resource_reference{""} 形式の句が EMR Spark Streamingノードの構成タブに表示された場合、リソースが参照されます。次に、次のコードを実行します。次のコードの情報は、実際の情報に置き換える必要があります。情報には、リソースパッケージ名、バケット名、ディレクトリが含まれます。

      ##@resource_reference{"examples-1.2.0-shaded.jar"}
      --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

SQL コードの開発

EMR Spark Streamingノードの構成タブで、ノードのコードを記述します。サンプルコード:

spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

(オプション) 詳細パラメーターを構成する

現在のノードの構成タブの [詳細設定] タブで詳細パラメーターを構成できます。パラメーターの構成方法の詳細については、「Spark Configuration」を参照してください。次の表は、構成できる詳細パラメーターについて説明しています。

Spark Streamingタスクを実行する

1. ツールバーの アイコンをクリックします。[パラメーター] ダイアログボックスで、[リソースグループ名] ドロップダウンリストから目的のリソースグループを選択し、[実行] をクリックします。

   説明

   • インターネットまたは VPC (Virtual Private Cloud) 経由で計算リソースにアクセスする場合は、計算リソースに接続されているスケジューリング用のリソースグループを使用する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。

   • 後続の操作でリソースグループを変更する場合は、 ([パラメーター付きで実行]) アイコンをクリックして、[パラメーター] ダイアログボックスでリソースグループを変更できます。

2. 上部ツールバーの アイコンをクリックして、SQL 文を保存します。

3. オプション。スモークテストを実行します。

   ノードをコミットするとき、またはノードをコミットした後に、開発環境でノードのスモークテストを実行できます。詳細については、「スモークテストを実行する」をご参照ください。