DataWorks:EMR のリソースと関数

リソースの説明

Data Studio の Resource Management セクションでは、次の表に示すリソースを作成できます。作成したリソースは、OSS または Hadoop 分散ファイルシステム (HDFS) に保存できます。その後、Data Studio で使用したり、ユーザー定義関数を作成するために使用したりできます。

制限事項

アップロードされたリソースは、次の制限を満たす必要があります。

• リソースサイズ:

• リソースの公開: 標準モードのワークスペースを使用する場合、リソースを有効にするには、本番環境に公開する必要があります。

  説明

  データソース情報は、開発環境と本番環境で異なります。ある環境でテーブルやリソースをクエリする前に、その環境のデータソース情報が正しいことを確認してください。

• リソース管理: DataWorks では、DataWorks インターフェイスを使用してアップロードしたリソースのみを表示および管理できます。

リソースの作成

EMR リソースは、ローカルコンピューターまたは OSS からアップロードできます。作成したリソースは、Data Studio で直接参照したり、関数を作成するために使用したりできます。

1. Resource Management ページで、表示される [リソースまたは関数の作成] ダイアログボックスで、リソースの [タイプ]、[パス]、[名前] を設定します。

2. リソースを作成した後、ローカルファイルまたは OSS オブジェクトをファイルソースとしてアップロードします。次の表に、リソースをアップロードするための主要なパラメーターを示します。

   設定項目	パラメーターの説明
   ファイルソース	オブジェクトファイルのソース。有効な値: [ローカル]および [OSS]。
   ファイルコンテンツ	[ローカル] を選択した場合、[ファイルアップロード] セクションで [クリックしてアップロード] をクリックしてローカルファイルをアップロードします。 [OSS] を選択した場合は、[ファイルの選択] ドロップダウンリストから OSS ファイルを選択してください。
   ストレージパス	リソースが保存されるパス。 有効値: OSS および HDFS。 [OSS] を選択した場合は、権限を付与してからディレクトリを選択します。 説明 権限付与は Alibaba Cloud アカウントで行う必要があります。 [HDFS] を選択した場合は、手動でストレージパスを入力する必要があります。 例: /user/admin/[specific path]。 説明 JAR パッケージは、次のいずれかの場所に保存できます。 JAR パッケージは EMR クラスターの Master ノードに保存されます。 JAR パッケージは Object Storage Service (Object Storage Service、OSS) に保存されます。ストレージには OSS を使用することを推奨します。詳細については、「OSS への JAR パッケージの保存」をご参照ください。
   データソース	アップロードされた EMR リソースが属するデータソースです。
   リソースグループ	EMR データソースに接続できる Serverless リソースグループを選択します。

3. ツールバーで [保存] と [公開] を順にクリックします。Data Studio では、公開されたリソースのみを使用できます。

   説明

   Serverless リソースグループを使用してリソースを送信すると、DataWorks はタスクを DPI エンジンに送信してリソースを作成し、実行ログを生成します。これらのログを使用して、送信中に発生した問題をトラブルシューティングできます。利用可能な Serverless リソースグループがない場合は、Serverless リソースグループを追加してください。

リソースの使用

リソースを作成したら、左側のナビゲーションウィンドウで[Resource Management]に移動します。目的のリソースを見つけ、それを右クリックし、[Reference Resource]を選択します。リソースが参照されると、##@resource_reference{"Resource Name"} フォーマットのコードがノードに追加されます。

また、リソースから関数を作成し、その関数を開発ノードで使用することもできます。

関数の説明

Data Studio の Resource Management セクションでは、リソースを EMR 関数として登録できます。Data Studio または SQL クエリでは、Hive が提供するビルトイン関数に加えて、作成したユーザー定義関数も使用できます。

関数の作成

1. [Resource Management] ページで、表示される [リソースまたは関数の作成] ダイアログボックスで、関数の [タイプ]、[パス]、および [名前] を設定します。

2. [確認] をクリックして関数リソースを作成します。次に、そのタイプに基づいて関数のパラメーターを設定します。

   EMR 関数を設定する前に、EMR クラスターが DataWorks に計算リソースとして登録されており、EMR リソースが作成済みであることを確認してください。次の表に、EMR 関数の主要なパラメーターを示します。

   パラメーター	説明
   関数タイプ	関数の種類です。有効な値は MATH (算術演算)、AGGREGATE (集計関数)、STRING (文字列)、DATE (日付)、ANALYTIC (ウィンドウ)、および OTHER (その他) です。
   データソース	EMR 関数を登録するデータソースです。
   EMR データベース	関数を登録する EMR データベースです。
   リソースグループ	EMR データソースに接続できる Serverless リソースグループを選択します。
   クラス名	ユーザー定義関数 (UDF) のクラス名です。クラス名は リソース名.クラス名 の形式で、JAR パッケージ内のクラス名と同じである必要があります。 リソースタイプが JAR の場合、[クラス名] パラメーターに Java package name.Actual class name フォーマットの値を設定します。IntelliJ IDEA で Copy Reference 文を実行してクラス名を取得できます。 たとえば、Java パッケージ名が com.aliyun.emr.examples.udf で、実際のクラス名が UDAFExample の場合、[クラス名] パラメーターを com.aliyun.emr.examples.udf.UDAFExample に設定します。
   リソースリスト	このパラメーターは必須です。ドロップダウンリストから、現在のワークスペースに追加されているリソースを選択します。

3. ツールバーで、[保存] をクリックし、次に [公開] をクリックします。Data Studio では、公開された関数のみ使用できます。

関数の使用

関数が作成され公開された後、Data Studio または SQL クエリで直接参照できます。

• データ開発ノードを編集するときは、左側のナビゲーションウィンドウで [Resource Management] をクリックします。 次に、ターゲットリソースまたは関数を見つけて右クリックし、[関数を挿入] を選択します。

  関数が正常に参照されると、ユーザー定義関数の名前がノード編集ページに自動的に挿入されます (例: example_function())。

• SQL クエリを編集する際に、作成した関数を直接使用できます。

SELECT example_function(column_name) FROM table;