Spark エディターは、AnalyticDB for MySQL コンソール内にあるブラウザベースの開発環境です。この環境では、Spark のバッチ処理、ストリーミング、SQL エンジンアプリケーションを作成・構成・実行できます。また、同一インターフェイスからドライバーログ、送信詳細、SQL 実行ログを確認できます。
前提条件
作業を開始する前に、以下の要件を満たしていることを確認してください。
AnalyticDB for MySQL Data Lakehouse Edition クラスター Data Lakehouse Edition
クラスター用に作成されたジョブリソースグループ。詳細については、「Data Lakehouse Editionリソースグループの作成」をご参照ください。
Resource Access Management (RAM) ユーザーに必要な権限が付与されていること。詳細については、「RAM ユーザーと権限の管理」の「RAM ユーザーへの権限付与」セクションをご参照ください。
クラスター用のデータベースアカウント：
Alibaba Cloud アカウント：特権アカウント。詳細については、「データベースアカウントの作成」の「特権アカウントの作成」セクションをご参照ください。
RAM ユーザー：特権アカウントおよび標準アカウントが必要です。また、標準アカウントを RAM ユーザーに関連付けてください。詳細については、「データベースアカウントの作成」および「RAM ユーザーとのデータベースアカウントの関連付けまたは関連付け解除」をご参照ください。
AnalyticDB for MySQL が AliyunADBSparkProcessingDataRole ロールを偽装できるように権限付与されていること。詳細については、「権限付与の実行」をご参照ください。
Spark アプリケーション用にロギングパスが設定されていること
ロギングパスの設定手順： AnalyticDB for MySQL コンソール にログインします。対象のクラスターを見つけ、クラスター ID をクリックします。左側のナビゲーションウィンドウで、ジョブ開発 > Spark JAR 開発 を選択し、ログ設定 をクリックします。デフォルトパスを選択するか、カスタムパスを入力します。カスタムパスは OSS のルートディレクトリにすることはできません。少なくとも 1 階層のフォルダを含める必要があります。
Spark アプリケーションの作成と実行
AnalyticDB for MySQL コンソールにログインします。AnalyticDB for MySQL コンソール の左上隅で、リージョンを選択します。左側のナビゲーションウィンドウで、[クラスター]Data Lakehouse Edition をクリックします。Data Lakehouse Edition タブで、クラスターを見つけ、そのクラスター ID をクリックします。
左側のナビゲーションウィンドウで、ジョブ開発 > Spark JAR 開発 を選択します。
[Spark JAR 開発] ページで、[アプリケーション] の右側にある
アイコンをクリックします。アプリケーションの作成 パネルで、以下のパラメーターを構成します。
パラメーター 説明 名前 アプリケーションまたはディレクトリの名前です。ファイル名は大文字と小文字を区別しません。 タイプ アプリケーション：ファイルベースの Spark テンプレートを作成します。ディレクトリ：アプリケーションを整理するためのフォルダを作成します。 親階層 ファイルまたはフォルダの親ディレクトリです。 ジョブタイプ Spark ジョブのタイプです：バッチ（バッチ処理用）、ストリーミング（ストリーミングアプリケーション用）、または SQL エンジン（Spark 分散 SQL エンジンワークロード用）。 OK をクリックします。
Spark エディターでアプリケーションを構成します。構成の詳細については、「概要」をご参照ください。
アプリケーションを実行する前に、エディターでジョブリソースグループとアプリケーショントタイプを選択します。その後、次のいずれかの操作を行います。
保存 をクリックして、後で使用するためにアプリケーションを保存します。
今すぐ実行 をクリックして、アプリケーションを即座に実行します。アプリケーション タブでステータスがリアルタイムに更新されます。
説明デフォルトでは、失敗後にリトライは実行されません。リトライ動作を構成するには、実行前に
spark.adb.maxAttemptsパラメーターおよびspark.adb.attemptFailuresValidityIntervalパラメーターを設定してください。詳細については、「Spark アプリケーション構成パラメーター」をご参照ください。
Spark アプリケーションのモニタリング
アプリケーション タブで、アプリケーション ID によりアプリケーションを検索します。調査内容に応じて、操作 列の以下の操作を使用します。
| 操作 | 表示内容 |
|---|---|
| ログ | 現在のアプリケーションのドライバーログ、または SQL ステートメントの実行ログです。実行時エラーのデバッグに役立ちます。 |
| UI | パフォーマンス分析およびタスクレベルの診断を行うための Spark UI です。アクセスには有効期間があります。有効期限切れの場合は、再度 UI を開いてください。 |
| 詳細 | ログパス、Web UI URL、クラスター ID、リソースグループ名など、アプリケーションの送信詳細です。アプリケーションの送信方法を確認する際に役立ちます。 |
| その他 > 停止 | 実行中のアプリケーションを停止します。 |
| その他 > 履歴 | 現在のアプリケーションのリトライ履歴です。 |
すべてのアプリケーションのリトライ履歴を表示するには、実行履歴 タブをクリックします。