MaxCompute:ODPS Spark タスクの開発

Java または Scala

ノードを設定する前に、ローカルマシンで以下の手順を完了してください：

1. 開発環境のセットアップ。 ご利用のオペレーティングシステムに基づいて開発環境を準備します：

   • Linux： Linux 開発環境のセットアップ

   • Windows： Windows 開発環境のセットアップ

2. コードの開発。 Spark on MaxCompute アプリケーションのコードを記述します。サンプルプロジェクトテンプレートから始めると、正しい Spark と MaxCompute の依存関係が設定済みのプロジェクト構造を取得できます。

3. JAR のパッケージ化とアップロード。 コードを JAR としてパッケージ化し、MaxCompute リソースとして DataWorks にアップロードします。詳細については、「MaxCompute リソースの作成と使用」をご参照ください。

Python (デフォルト環境)

PySpark コードを Python リソースとして DataWorks に直接記述し、コミットします。ローカルでのセットアップは不要です。例と手順については、「MaxCompute リソースの作成と使用」および「PySpark を使用した Spark on MaxCompute アプリケーションの開発」をご参照ください。

デフォルトの Python 環境にタスクで必要なサードパーティパッケージが含まれていない場合は、カスタム Python 環境を準備する (下記参照) か、より広範な Python ライブラリをサポートする PyODPS 2 ノードまたは PyODPS 3 ノードを使用してください。

Python (カスタム環境)

デフォルトの Python 環境が要件を満たさない場合：

1. ローカルマシンでカスタム Python 環境を準備します。 依存関係の要件に基づいて環境を設定するには、「PySpark の Python バージョンとサポートされる依存関係」をご参照ください。

2. 環境のパッケージ化とアップロード。 Python 環境を ZIP ファイルとしてパッケージ化し、MaxCompute リソースとして DataWorks にアップロードします。詳細については、「MaxCompute リソースの作成と使用」をご参照ください。

ステップ 1：Python リソースの作成とコミット

1. DataWorks コンソールで DataStudio に移動し、spark_is_number.py という名前の Python リソースを作成します。リソースの作成に関する詳細については、「MaxCompute リソースの作成と使用」をご参照ください。次のコードをリソースに貼り付けます：

   # -*- coding: utf-8 -*-
   import sys
   from pyspark.sql import SparkSession
   
   try:
       # Python 2 のみ
       reload(sys)
       sys.setdefaultencoding('utf8')
   except:
       # Python 3 では不要
       pass
   
   if __name__ == '__main__':
       spark = SparkSession.builder\
           .appName("spark sql")\
           .config("spark.sql.broadcastTimeout", 20 * 60)\
           .config("spark.sql.crossJoin.enabled", True)\
           .config("odps.exec.dynamic.partition.mode", "nonstrict")\
           .config("spark.sql.catalogImplementation", "odps")\
           .getOrCreate()
   
   def is_number(s):
       try:
           float(s)
           return True
       except ValueError:
           pass
   
       try:
           import unicodedata
           unicodedata.numeric(s)
           return True
       except (TypeError, ValueError):
           pass
   
       return False
   
   print(is_number('foo'))
   print(is_number('1'))
   print(is_number('1.3'))
   print(is_number('-1.37'))
   print(is_number('1e3'))

2. リソースを保存してコミットします。

ステップ 2：ODPS Spark ノードの設定

ODPS Spark ノードで、次のパラメーターを設定します：

ノードを保存してコミットします。

ステップ 3：オペレーションセンターでのノードの実行

ODPS Spark ノードは DataStudio から実行できません。ノードを実行するには、開発環境のオペレーションセンターに移動します。

オペレーションセンターで、ODPS Spark ノードのバックフィルをトリガーします。詳細については、「データバックフィルとデータバックフィルインスタンスの表示 (新バージョン)」をご参照ください。

ステップ 4：結果の表示

バックフィルインスタンスが正常に完了したら、実行ログの [tracking URL] をクリックして出力を表示します：

False
True
True
True
True