DataWorks:MaxCompute Spark ノード

権限

(オプション、RAM ユーザーに必要) タスク開発に使用する RAM ユーザーは、対応するワークスペースに追加し、開発者またはワークスペース管理者のロールを付与する必要があります (ワークスペース管理者は広範な権限を持つため、付与には注意が必要です)。メンバーの追加に関する詳細については、「ワークスペースへのメンバー追加」をご参照ください。

制限事項

Spark 3.x を使用する MaxCompute Spark ノードを送信する際にエラーが発生した場合は、サーバーレスリソースグループを購入して使用してください。詳細については、「サーバーレスリソースグループの使用」をご参照ください。

事前準備

MaxCompute Spark ノードは、Java/Scala および Python での Spark on MaxCompute バッチジョブの実行をサポートしています。開発言語によって開発手順や設定インターフェイスが異なるため、ビジネスニーズに最も適した言語を選択してください。

設定項目

DataWorks は、Spark on MaxCompute のバッチジョブをクラスターモードで実行します。クラスターモードでは、カスタムプログラムのエントリーポイント main を指定する必要があります。main が終了すると (つまり、ステータスが Success または Fail になると)、対応する Spark ジョブは終了します。さらに、spark-defaults.conf の各設定は、executor の数、メモリサイズ、spark.hadoop.odps.runtime.end.point など、MaxCompute Spark ノードの設定項目に個別に追加する必要があります。

操作手順

1. リソースを作成します。

   1. Data Studio ページの左側のナビゲーションウィンドウの [Resource Management] セクションで、[作成] をクリックし、[MaxCompute Spark Python リソースの作成] を選択して、spark_is_number.py という名前を付けます。詳細については、「リソース管理」をご参照ください。コードは以下の通りです：

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. リソースを保存します。

2. 作成した MaxCompute Spark ノードで、ノードのパラメーターとスケジュール設定を構成します。詳細については、「設定項目」をご参照ください。

3. ノードをスケジュール実行するには、ビジネスニーズに基づいてスケジュール情報を設定します。詳細については、「ノードスケジューリングの設定」をご参照ください。

4. ノードタスクを設定した後、ノードをデプロイする必要があります。詳細については、「ノードとワークフローのデプロイメント」をご参照ください。

5. タスクがデプロイされた後、オペレーションセンターで定期タスクの実行ステータスを確認できます。詳細については、「オペレーションセンター入門」をご参照ください。

   説明

   • Data Studio の MaxCompute Spark ノードには実行エントリがないため、開発環境のオペレーションセンターから Spark タスクを実行する必要があります。

   • バックフィルデータインスタンスが正常に実行された後、そのランタイムログ内のトラッキング URL を開いて実行結果を確認します。

リファレンス

• 他のシナリオでの Spark on MaxCompute タスク開発については、以下をご参照ください：

  • Spark 1.x の例

  • Spark-2.x の例

  • PySpark を使用した Spark on MaxCompute アプリケーションの開発

  • Spark on MaxCompute から VPC 内のインスタンスにアクセスする

  • Spark on MaxCompute から OSS にアクセスする

• Spark FAQ：Spark の実行中によくある問題について学び、例外を迅速にトラブルシューティングして解決します。詳細については、「Spark FAQ」をご参照ください。

• Spark ジョブ診断：MaxCompute は、Spark ジョブ用の Logview ツールと Spark WebUI を提供しています。ジョブログを確認して、ジョブが正しく送信され、実行されたことを確認できます。詳細については、「ジョブ診断の実行」をご参照ください。