すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:Spark Shellジョブの構成

最終更新日:Jan 11, 2025

このトピックでは、Spark Shellジョブを構成する方法について説明します。

前提条件

プロジェクトが作成されていること。詳細については、プロジェクトの管理をご参照ください。

手順

  1. データプラットフォームタブに移動します。
    1. Alibaba Cloudアカウントを使用して、Alibaba Cloud EMRコンソールにログオンします。
    2. 上部のナビゲーションバーで、クラスターが存在するリージョンを選択し、ビジネス要件に基づいてリソースグループを選択します
    3. [データプラットフォーム] タブをクリックします。
  2. 表示されるページの [プロジェクト] セクションで、管理するプロジェクトを見つけ、[アクション] 列の [ジョブの編集] をクリックします。
  3. Spark Shellジョブを作成します。
    1. 左側の [ジョブの編集] ペインで、操作を実行するフォルダーを右クリックし、[ジョブの作成] を選択します。
    2. [ジョブの作成] ダイアログボックスで、[名前][説明] を指定し、Sparkシェル[ジョブの種類] ドロップダウンリストから を選択します。
    3. [OK] をクリックします。
  4. ジョブの内容を編集します。
    1. [コンテンツ] フィールドで、Spark Shellコマンドに続くコマンドラインパラメーターを構成します。
      例:
      val count = sc.parallelize(1 to 100).filter { _ =>
        val x = math.random // ランダムな x 値を生成します。
        val y = math.random // ランダムな y 値を生成します。
        x*x + y*y < 1 // x^2 + y^2 < 1 の場合に true を返します。
      }.count(); // 条件を満たす要素の数をカウントします。
      println("Pi is roughly ${4.0 * count / 100}") // 円周率の近似値を出力します。
    2. [保存] をクリックします。