EMR クラスターでインタラクティブな Spark スクリプトを実行するよう、Spark Shell ジョブを構成できます。
前提条件
プロジェクトを作成済みである必要があります。詳細については、「プロジェクト管理」をご参照ください。操作手順
-
Data Platform の [プロジェクト] ページに移動します。
-
Alibaba Cloud アカウントで E-MapReduce コンソール にログインします。
-
上部ナビゲーションバーでリージョンおよびリソースグループを選択します。
-
[Data Development] タブをクリックします。
-
-
編集対象のプロジェクト行で、[ジョブの編集] をクリックします。
- Spark Shell ジョブを作成します。
- ページ左側で対象のフォルダを右クリックし、[ジョブの作成] を選択します。
- [ジョブの作成] ダイアログボックスで、[ジョブ名] と [ジョブの説明] を入力し、[ジョブタイプ] ドロップダウンリストから [Spark Shell] を選択します。
- [OK] をクリックします。
- ジョブの内容を編集します。
- [ジョブの内容] フィールドに Spark Shell スクリプトを入力します。
この例では、モンテカルロ法を使用して円周率を推定します。
val count = sc.parallelize(1 to 100).filter { _ => val x = math.random val y = math.random x*x + y*y < 1 }.count(); println("Pi is roughly ${4.0 * count / 100}") - [Save] をクリックします。
- [ジョブの内容] フィールドに Spark Shell スクリプトを入力します。