このトピックでは、Spark Shellジョブを構成する方法について説明します。
前提条件
プロジェクトが作成されていること。詳細については、プロジェクトの管理をご参照ください。手順
- データプラットフォームタブに移動します。
- Alibaba Cloudアカウントを使用して、Alibaba Cloud EMRコンソールにログオンします。
- 上部のナビゲーションバーで、クラスターが存在するリージョンを選択し、ビジネス要件に基づいてリソースグループを選択します。
- [データプラットフォーム] タブをクリックします。
- 表示されるページの [プロジェクト] セクションで、管理するプロジェクトを見つけ、[アクション] 列の [ジョブの編集] をクリックします。
- Spark Shellジョブを作成します。
- 左側の [ジョブの編集] ペインで、操作を実行するフォルダーを右クリックし、[ジョブの作成] を選択します。
- [ジョブの作成] ダイアログボックスで、[名前] と [説明] を指定し、Sparkシェル[ジョブの種類] ドロップダウンリストから を選択します。
- [OK] をクリックします。
- ジョブの内容を編集します。
- [コンテンツ] フィールドで、Spark Shellコマンドに続くコマンドラインパラメーターを構成します。例:
val count = sc.parallelize(1 to 100).filter { _ => val x = math.random // ランダムな x 値を生成します。 val y = math.random // ランダムな y 値を生成します。 x*x + y*y < 1 // x^2 + y^2 < 1 の場合に true を返します。 }.count(); // 条件を満たす要素の数をカウントします。 println("Pi is roughly ${4.0 * count / 100}") // 円周率の近似値を出力します。
- [保存] をクリックします。
- [コンテンツ] フィールドで、Spark Shellコマンドに続くコマンドラインパラメーターを構成します。