DataWorks:MaxCompute Spark ノード

権限

(オプション、RAM ユーザー向け) タスクを開発する RAM ユーザーは、[開発者] または [ワークスペース管理者] のロールを持つワークスペースのメンバーである必要があります。[ワークスペース管理者] ロールは広範な権限を持つため、慎重に割り当ててください。メンバーの追加方法の詳細については、「ワークスペースへのメンバーの追加とロールの割り当て」をご参照ください。

制限事項

MaxCompute Spark ノードで Spark 3.x を選択し、ジョブの送信に失敗した場合は、サーバーレスリソースグループを購入して使用する必要があります。詳細については、「サーバーレスリソースグループの購入と使用」をご参照ください。

前提条件

MaxCompute Spark ノードは、Java/Scala および Python で記述された Spark on MaxCompute バッチジョブの実行をサポートしています。開発手順と設定インターフェイスは言語ごとに異なります。ビジネスニーズに最も適した言語を選択してください。

設定プロパティ

DataWorks は、クラスターモードで Spark on MaxCompute バッチジョブを実行します。このモードでは、プログラムのエントリーポイントである main クラスを指定する必要があります。main メソッドが Success または Fail のステータスで終了すると、Spark ジョブは終了します。さらに、spark-defaults.conf ファイルの各設定を MaxCompute Spark ノードの設定プロパティに追加する必要があります。例としては、executor インスタンスの数、メモリサイズ、spark.hadoop.odps.runtime.end.point プロパティなどがあります。

操作手順

1. リソースの作成

   1. [データ開発] ページで、左側のナビゲーションウィンドウで [リソース管理] を見つけます。[作成] をクリックし、[MaxCompute Spark Python] を選択してリソースを作成します。リソースに spark_is_number.py という名前を付けます。詳細については、「MaxCompute リソースの作成と使用」をご参照ください。例：

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # Python 2 の場合
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # Python 3 では不要
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. リソースを保存します。

2. 作成した MaxCompute Spark ノードで、ノードとスケジュールパラメーターを設定します。詳細については、「MaxCompute Spark ノードの設定」をご参照ください。

3. ノードを定期的に実行する必要がある場合は、ビジネス要件に基づいてスケジュールプロパティを設定します。詳細については、「スケジュールプロパティの設定」をご参照ください。

4. ノードを設定した後、デプロイします。詳細については、「タスクのデプロイ」をご参照ください。

5. タスクをデプロイした後、運用保守センターで定期タスクの実行ステータスを表示できます。詳細については、「自動トリガータスクの表示と管理」をご参照ください。

   説明

   • MaxCompute Spark ノードは、データ開発ページのエディターから直接実行することはできません。運用保守センターからタスクを実行する必要があります。

   • 補足インスタンスが正常に実行された後、実行ログからトラッキング URL を開くことで結果を表示できます。

関連トピック

• Spark on MaxCompute タスクの一般的な開発シナリオの詳細については、次のトピックをご参照ください：

  • Java/Scala 例：Spark 1.x

  • Java/Scala 例：Spark 2.x

  • Python 例：PySpark 開発

  • ユースケース：Spark から VPC インスタンスへのアクセス

  • ユースケース：Spark から OSS へのアクセス

• Spark FAQ：Spark ジョブの実行時によくある問題について学び、例外をより迅速にトラブルシューティングするのに役立ちます。詳細については、「Spark に関するよくある質問」をご参照ください。

• Spark ジョブの診断：MaxCompute は、Spark ジョブ用に Logview ツールと Spark Web UI を提供しています。ジョブログを確認して、ジョブの送信と実行が正しいことを確認できます。詳細については、「Spark ジョブの診断」をご参照ください。