DataWorks:Lindorm コンピューティングリソースの関連付け

制限事項

• サポートされているリージョン：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)。

• 権限制限：

  • Lindorm タスクの実行には、DataWorks Serverless リソースグループのみ使用できます。

  • O&M またはワークスペース管理者のロール、あるいは AliyunDataWorksFullAccess 権限を持つメンバーのみがコンピューティングリソースを作成できます。メンバーのロールと権限の詳細については、「ワークスペースメンバーの追加とロールおよび権限の管理」をご参照ください。

コンピューティングリソースページへの移動

1. DataWorks ワークスペースページに移動します。上部のナビゲーションバーで対象のリージョンに切り替え、コンピューティングリソースを作成するワークスペースを見つけます。ワークスペース名または Details 列の Operationをクリックして、ワークスペース詳細ページに移動します。

2. 左側のナビゲーションウィンドウで Computing Resources をクリックし、目的のコンピューティングリソースタイプを選択して、そのリストページに移動します。

Lindorm コンピューティングリソースの関連付け

コンピューティングリソースページで、次の表の説明に従って Lindorm コンピューティングリソースを設定し、関連付けます。

1. Lindorm の関連付けページに移動します。

   1. コンピューティングリソースのバインド をクリックして、コンピューティングリソースのバインド ページに移動します。

   2. コンピューティングリソースのバインド ページで、コンピューティングリソースタイプとして [Lindorm] を選択します。[Lindorm コンピューティングリソースの関連付け] 構成ページが表示されます。

2. Lindorm コンピューティングリソースを設定します。

   [Lindorm コンピューティングリソースの関連付け] ページで、次の表の説明に従ってパラメーターを設定します。

   セクション	パラメーター	説明
   基本情報	設定モード	Alibaba Cloud インスタンスモードのみがサポートされています。
   	Instance	DataWorks に関連付ける Lindorm インスタンスを選択します。このドロップダウンリストには、現在のリージョンにあるすべての Lindorm インスタンスが表示されます。
   	Database Name	この Lindorm コンピューティングリソースを使用する際に DataWorks がデフォルトで接続するデータベースを選択します。デフォルトのデータベースは default です。
   	ユーザー名/パスワード	DataWorks がこの Lindorm コンピューティングリソースにアクセスするためのユーザー名とパスワードを入力します。認証情報は Lindorm コンソールで確認できます。お使いの Lindorm インスタンスを見つけ、インスタンス名 をクリックし、左側のナビゲーションウィンドウで [データベース接続] に移動して、ユーザー名とパスワードを取得します。
   	Computeリソースインスタンス名	コンピューティングリソースインスタンスのカスタム名を入力します。ランタイム時に、タスクはこの名前を使用してこのコンピューティングリソースを選択できます。
   接続設定	Connected state	接続設定セクションで、Lindorm タスクを実行する Serverless リソースグループを選択します。テスト接続 をクリックして、リソースグループが Lindorm インスタンスにアクセスできることを確認します。詳細については、「ネットワーク接続ソリューションの概要」をご参照ください。

3. Confirm をクリックして、Lindorm コンピューティングリソースの設定を完了します。

背景情報

Apache Spark は、大規模データ分析のためのエンジンです。DataWorks では、スケジューリングノードがランタイム時に使用する Spark パラメーターを次の方法で設定できます：

方法 1：グローバル Spark パラメーターを設定して、DataWorks モジュールが Lindorm タスクを実行する際に使用するワークスペースレベルの Spark パラメーターを設定できます。また、このグローバル設定がモジュール固有の設定よりも優先されるかどうかを定義することもできます。詳細については、「グローバル Spark パラメーターの設定」をご参照ください。

方法 2：Data Studio では、編集ページでノードに特定の Spark プロパティを設定できます。他のプロダクトモジュールは、現在、内部で Spark プロパティを設定することをサポートしていません。

アクセス制御

グローバル Spark パラメーターを設定できるのは、次のロールを持つユーザーのみです：

• Alibaba Cloud アカウント。

• AliyunDataWorksFullAccess 権限を持つ RAM ユーザーまたは RAM ロール。

• ワークスペース管理者ロールを持つ RAM ユーザー。

グローバル Spark パラメーターの表示

1. コンピューティングリソースページに移動し、関連付けられた Lindorm コンピューティングリソースを見つけます。

2. [Spark パラメーター] をクリックして設定ペインを開き、グローバル Spark パラメーターの設定を表示します。

グローバル Spark パラメーターの設定

以下の手順でグローバル Spark パラメーターを設定できます。Lindorm コンピューティングリソースの Spark パラメーターを設定するには、「ジョブ設定」をご参照ください。

1. コンピューティングリソースページに移動し、関連付けられた Lindorm コンピューティングリソースを見つけます。

2. [Spark パラメーター] をクリックして設定ペインを開き、グローバル Spark パラメーターの設定を表示します。

3. グローバル Spark パラメーターを設定します。

   [Spark パラメーター] ページの右上隅にある [Spark パラメーターの編集] をクリックして、各モジュールのグローバル Spark パラメーターとその優先順位を設定します。

   説明

   これはワークスペースレベルのグローバル設定です。続行する前に、正しいワークスペースにいることを確認してください。

   パラメーター	ステップ
   Spark プロパティ	モジュールが Lindorm タスクを実行する際に使用する Spark プロパティを設定します。詳細については、「ジョブ設定」をご参照ください。 下の Add をクリックし、Sparkプロパティ名 とそれに対応する Spark属性値 を入力します。 説明 データリネージと出力情報収集を有効にするには、次のように設定します： Sparkプロパティ名 を spark.sql.queryExecutionListeners に設定します。 Spark属性値 を com.aliyun.dataworks.meta.lineage.LineageListener に設定します。 その他の Spark プロパティ設定については、「ジョブ設定」をご参照ください。
   グローバル設定が優先されるかどうか	このオプションを選択すると、グローバル設定がプロダクトモジュール内で設定された設定よりも優先されます。タスクは一貫してグローバル Spark プロパティを使用します。 グローバル設定：管理センター > Computing Resources の下にある Lindorm コンピューティングリソースの [Spark パラメーター] ページで設定された Spark プロパティを指します。 現在、グローバル Spark パラメーターは Data Studio とオペレーションセンターモジュールに対してのみ設定できます。 モジュールレベルの設定： Data Studio：Lindorm Spark および Lindorm Spark SQL ノードの場合、ノード編集ページまたは Configuration Items セクションで特定のノードの Spark プロパティを設定できます。 他のプロダクトモジュール：現在、モジュール内で Spark プロパティを設定することはサポートしていません。

4. Confirm をクリックして、グローバル Spark パラメーターを保存します。