DataWorks:グローバル Spark パラメーターの設定

背景

Apache Spark は、大規模なデータ分析のためのエンジンです。DataWorks では、次の方法でスケジュールされたノードのランタイム Spark パラメーターを設定できます。

• 方法1：グローバル Spark パラメーターの設定

  DataWorks で EMR タスクを実行する各モジュールに対して、ワークスペースレベルで Spark パラメーターを設定します。また、これらのパラメーターが特定のモジュール内で設定された Spark パラメーターよりも高い優先度を持たせるように設定することもできます。詳細については、「グローバル Spark パラメーターの設定」をご参照ください。

• 方法2：モジュール固有の Spark パラメーターの設定

  • Data Development (Data Studio)：Hive ノードおよび Spark ノードの場合、ノード編集ページの右側にあるScheduling Settings ペインで、個々のノードタスクのSpark プロパティを設定できます。

  • その他のモジュール：他のモジュール内での Spark プロパティの設定はサポートされていません。

制限事項

• グローバル Spark パラメーターを設定できるのは、次のロールのみです：

  • Alibaba Cloud アカウント。

  • AliyunDataWorksFullAccess 権限を持つRAM ユーザーまたは RAM ロール。

  • [スペース管理者]ロールを持つRAM ユーザー。

• Spark パラメーターは、EMR Spark ノード、EMR Spark SQL ノード、およびEMR Spark Streaming ノードに対してのみ有効です。

  説明

  Spark で Ranger を使用してアクセス制御を行うには、グローバル Spark パラメーターにspark.hadoop.fs.oss.authorization.method=ranger設定を追加して、Ranger のアクセス制御を適用します。

• Spark 関連の設定は、DataWorks の管理センター と E-MapReduce コンソールの両方で更新できます。両者でパラメーターの設定が異なる場合、DataWorks から送信されたタスクは、DataWorks の管理センター の設定を使用します。

• 現在、グローバル Spark パラメーターは、Data Development (Data Studio)、Data Quality、データ分析、およびオペレーションセンターの各モジュールにのみ設定できます。

前提条件

EMR クラスターを DataWorks ワークスペースに関連付ける必要があります。詳細については、「E-MapReduce コンピュートエンジンのバインド」をご参照ください。

グローバル Spark パラメーターの設定

1. グローバル Spark パラメーター設定ページに移動します。

   1. [Management Center] ページに移動します。

      DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[Management Center] をクリックします。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。

   2. 左側のナビゲーションウィンドウで、Computing Resources をクリックします。

   3. 対象の EMR クラスターを見つけ、[SPARK パラメーター] をクリックしてグローバル Spark パラメーター設定ページに移動します。

      グローバル Spark パラメーター設定ページには、[本番・開発環境] セクションがあり、[DataStudio (Data Development)] モジュールと[データ分析] モジュールが一覧表示されます。各モジュールの右側には、[グローバル設定を優先] チェックボックスと[展開] リンクがあります。ページの右上隅には、[SPARK パラメーターの編集] ボタンがあります。

2. グローバル Spark パラメーターを設定します。

   [SPARK パラメーター] ページの右上隅にある[SPARK パラメーターの編集] をクリックして、各モジュールのグローバル Spark パラメーターと優先度を設定します。

   説明

   これらの設定はワークスペース全体にグローバルに適用されます。続行する前に、正しいワークスペースを選択していることを確認してください。

   パラメーター	説明
   Spark プロパティ	モジュールが EMR タスクを実行する際に使用する Spark プロパティ (Sparkプロパティ名 とSpark属性値) を設定します。有効な設定については、「Spark 設定」および「Kubernetes での Spark 設定」をご参照ください。
   [グローバル設定が優先されるかどうか]	このオプションを選択すると、グローバル設定がモジュール固有の設定よりも優先されます。この場合、タスクはグローバル Spark プロパティを使用します。 グローバル設定：管理センター > Computing Resources の EMR クラスターの[SPARK パラメーター] ページで設定された Spark パラメーター。 説明 現在、グローバル Spark パラメーターは、Data Development (Data Studio)、Data Quality、データ分析、およびオペレーションセンターの各モジュールにのみ設定できます。 モジュール固有の設定： Data Development (Data Studio)：Hive ノードおよび Spark ノードの場合、ノード編集ページの右側にあるScheduling Settings ペインで、個々のノードタスクのSpark プロパティを設定できます。 その他のモジュール：他のモジュール内での Spark プロパティの設定はサポートされていません。