DataWorks:MaxCompute Spark ノード

権限要件

ジョブを開発するには、RAM ユーザーを対応するワークスペースに追加し、開発者 または ワークスペース管理者 のいずれかのロールを付与する必要があります。ワークスペース管理者ロールには広範な権限が含まれているため、慎重に付与する必要があります。ワークスペースにメンバーを追加する方法の詳細については、「ワークスペースメンバーの追加」をご参照ください。

制限事項

Spark 3.x を使用する MaxCompute Spark ノードの送信時にエラーが発生した場合は、サーバーレスリソースグループを購入して使用する必要があります。詳細については、「サーバーレスリソースグループの使用」をご参照ください。

事前準備

MaxCompute Spark ノードは、Java/Scala および Python を使用した Spark on MaxCompute のオフラインジョブの実行をサポートします。開発手順と設定 UI は言語ごとに異なります。ビジネス要件に基づいて言語を選択してください。

パラメーター

DataWorks は、クラスターモードで MaxCompute 上の Spark オフラインジョブを実行します。クラスターモードでは、カスタムプログラムのエントリーポイント main を指定する必要があります。対応する Spark ジョブは、main 関数が Success または Fail のステータスで終了すると、終了します。さらに、spark-defaults.conf 内の設定を、MaxCompute Spark ノードの設定に 1 つずつ追加する必要があります。たとえば、executor の数、メモリサイズ、spark.hadoop.odps.runtime.end.point 設定などです。

操作手順

1. リソースを作成します。

   1. Data Studio ページの左側のナビゲーションバーでリソース管理を見つけ、新規作成をクリックします。 MaxCompute Spark タイプの Python リソースを作成し、spark_is_number.py という名前を付けます。 詳細については、「リソース管理」をご参照ください。 コードは以下のとおりです。

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # Python 2 の場合
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # Python 3 では不要
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. リソースを保存します。

2. 作成した MaxCompute Spark ノードで、ノードパラメーターとスケジューリングパラメーターを設定します。詳細については、「パラメーター」をご参照ください。

3. スケジュールに基づいてジョブを実行するには、ビジネス要件に基づいてスケジューリングプロパティを設定します。詳細については、「ノードのスケジューリング設定」をご参照ください。

4. ノードジョブを設定したら、ノードをデプロイします。詳細については、「ノード/ワークフローのデプロイ」をご参照ください。

5. ジョブがデプロイされた後、オペレーションセンターに移動して定期ジョブの実行ステータスを表示できます。詳細については、「オペレーションセンター入門」をご参照ください。

   説明

   • MaxCompute Spark ノードには、Data Studio での実行エントリポイントはありません。開発環境のオペレーションセンターで Spark ジョブを実行する必要があります。

   • データバックフィルインスタンスが正常に実行された後、インスタンスの実行ログにあるトラッキング URL を開いて結果を表示できます。

関連ドキュメント

• 他のユースケースでの Spark on MaxCompute ジョブの開発に関する詳細については、次のトピックをご参照ください：

  • Java/Scala 例：Spark 1.x

  • Java/Scala 例：Spark 2.x

  • Python 例：PySpark 開発

  • ユースケース：Spark から VPC インスタンスへのアクセス

  • ユースケース：Spark から OSS へのアクセス

• Spark FAQ：一般的な Spark 実行の問題と解決策を掲載しています。トラブルシューティングの迅速化にお役立てください。詳細については、「Spark FAQ」をご参照ください。

• Spark ジョブの診断：MaxCompute は、Logview ツールと Spark Web UI を提供します。ジョブログを使用して、ジョブが正しく送信および実行されているかを確認できます。詳細については、「Spark ジョブの診断」をご参照ください。