DataWorks:CDH リソースと関数

リソースの説明

[リソース管理] ペインでは、DataWorks を使用して、オンプレミス マシンから CDH クラスタ にリソースをアップロードできます。DataWorks では、以下の種類の CDH リソースを作成できます。これらのリソースを使用して、CDH ジョブを開発したり、DataWorks で UDF を作成したりできます。

制限事項

アップロードするリソースは、次の要件を満たしている必要があります。

• リソースサイズ: サポートされる最大リソースサイズは 500MB です。

• リソースデプロイメント: 標準モードのワークスペース を使用している場合は、リソースを本番環境にデプロイする必要があります。デプロイ後、リソースは本番環境のプロジェクトに存在します。

  説明

  データソースに関する情報は、開発環境と本番環境で異なる場合があります。データのクエリを実行する環境のデータソースに関する情報を明確に理解しておく必要があります。これにより、後続の操作で有効なテーブルとリソースデータをクエリできます。

• リソース管理: DataWorks は、DataWorks を介してアップロードされたリソースの表示と管理のみをサポートしています。

リソースの作成

オンプレミス マシンから DataWorks の CDH 計算リソースにリソースをアップロードできます。CDH リソースが作成された後、データ開発でリソースを参照したり、リソースを関数として作成したりできます。

1. [リソース管理] ページで、リソースを作成し、[リソースと関数の作成] ダイアログボックスを開いたら、リソースの [タイプ]、ストレージ [パス]、およびリソース [名前] を構成します。

2. CDH リソースを作成する場合は、ファイルソースとして オンプレミス ファイルをアップロード します。次の表に、オンプレミス ファイルをアップロードするときに構成する必要がある主要なパラメータを示します。

   パラメータ	説明
   [ストレージパス]	デフォルト値は /user/admin/lib です。 説明 Kerberos 認証が有効になっている場合は、現在のログインアカウントにディレクトリへの書き込み権限を付与する必要があります。
   [データソース]	準備されている CDH データソースを選択します。
   [リソースグループ]	CDH クラスタに接続されているサーバーレス リソースグループを選択します。

3. リソースの構成タブの上部ツールバーで、[保存] と [デプロイ] をクリックします。デプロイ された場合にのみ、Data Studio でリソースを使用できます。

リソースの使用

リソースが作成された後、データ開発を実行するときにリソースを使用できます。Data Studio ページの左側のナビゲーションウィンドウで [リソース管理] をクリックし、[リソース管理] ペインで作成されたリソースを見つけ、リソース名を右クリックして、[リソースの参照] を選択します。リソースが参照されると、##@resource_reference{"リソース名"} 形式のコード行が表示されます。

リソースを直接使用するだけでなく、リソースを関数として作成 して、Data Studio ノードで使用することもできます。

関数の説明

Data Studio では、リソースを CDH 関数として登録できます。データ開発または SQL クエリでは、Hive によって提供される 組み込み関数 と カスタム関数 を使用できます。

関数の作成

1. [リソース管理] ページで、関数を作成し、[リソースと関数の作成] ダイアログボックスを開いたら、ドロップダウンリストから関数の [タイプ]、ストレージ [パス]、および関数 [名前] を構成します。

2. [OK] をクリックして関数を作成し、関数のタイプに基づいてパラメータを構成します。

   CDH 関数を構成する前に、CDH エンジン が DataWorks で計算リソースとして登録されており、CDH リソースが DataWorks にアップロードされていることを確認してください。次の表に、CDH 関数 の主要な構成を示します。

   パラメータ	説明
   [関数のタイプ]	関数のタイプ。有効な値: [MATH]、[AGGREGATE]、[STRING]、[DATE]、[ANALYTIC]、および [OTHER]。
   [データソース]	[データソース] ドロップダウンリストから CDH データソースを選択します。
   [クラス名]	UDF を実装するクラスの名前。リソース名.クラス名 の形式でこのパラメータを構成します。リソース名は、Java パッケージまたはファイルリソースの名前です。 DataWorks では、CDH Jar またはファイルリソースに基づいて UDF を作成できます。リソースタイプが JAR の場合、[クラス名] パラメータを JAR パッケージ名.実際のクラス名 形式で構成します。IntelliJ IDEA で Copy Reference 文を実行することで、クラス名をクエリできます。たとえば、com.aliyun.cdh.examples.udf が Java パッケージ名で、UDAFExample がクラス名の場合、[クラス名] パラメータの値は com.aliyun.cdh.examples.udf.UDAFExample です。 説明 リソース名に .jar サフィックスを含める必要はありません。 リソースがデプロイされた後に、リソースを使用できます。
   [リソース]	使用するリソース。ドロップダウンリストから [CDH Jar] または [CDH File] リソースを選択できます。
   [コマンド構文]	UDF の使用方法の例。

3. 関数の構成タブの上部ツールバーで、[保存] と [デプロイ] をクリックします。デプロイ された場合にのみ、Data Studio で関数を使用できます。

関数の使用

関数が作成およびデプロイされた後、データ開発または SQL クエリで関数を直接参照できます。

• データ開発ノードを編集するときに、左側のナビゲーションウィンドウで [リソース管理] をクリックし、ターゲットのリソースまたは関数を見つけて、右クリックして [関数の参照] を選択します。

  関数を正常に参照した後、カスタム関数名が現在のノード編集ページにすばやく生成されます。例: example_function()。

• SQL クエリを編集するときに、作成された関数を直接使用できます。

SELECT example_function(column_name) FROM table;