DataWorks:CDH リソースおよび関数

リソース

Data Studio では、DataWorks を通じてローカルのリソースを CDH クラスター にアップロードできます。サポートされているリソースタイプは次の表のとおりです。

制限事項

リソースのアップロードには、次の制限事項が適用されます。

• リソースサイズ：

• リソースの公開： 標準モードのワークスペース を使用する場合、リソースを使用する前に本番環境に公開する必要があります。

  説明

  データソースの構成は開発環境と本番環境で異なる場合があります。テーブルのクエリやリソースの使用前に、現在の環境におけるデータソース構成を確認してください。

• リソース管理： DataWorks では、DataWorks UI を通じてアップロードされたリソースのみを表示および管理できます。

リソースの作成

ご利用のローカルマシンから CDH リソースをアップロードします。リソースを作成後、データ開発で参照したり、カスタム関数として登録したりできます。

1. [Resource Management] ページでリソースを作成すると、[Create Resource and Function] ダイアログボックスが開きます。タイプ、ストレージ パス、およびリソース 名前 を設定します。

2. リソースエントリを作成後、ローカルファイルをアップロードします。次の表は、主要なアップロードパラメーターについて説明しています。

   パラメーター	説明
   ストレージパス	デフォルトパス：/user/admin/lib。 説明 Kerberos 認証が有効になっている場合、このディレクトリへの書き込み権限を現在のユーザーに付与する必要があります。
   データソース	既存の CDH データソースを選択します。
   リソースグループ	CDH クラスターに接続可能な Serverless リソースグループを選択します。

3. 上部ツールバーで、保存 をクリックした後、公開 をクリックしてリソースを公開します。データ開発で使用できるのは、公開済み のリソースのみです。

リソースの使用

リソースを作成後、データ開発で参照できます。左側ナビゲーションウィンドウで リソース管理 をクリックし、対象のリソースまたは関数を検索して右クリックし、リソースのリファレンス を選択します。これにより、エディターに ##@resource_reference{"Resource Name"} 形式のコードスニペットが挿入されます。

また、リソースから 関数を作成 し、開発ノードで使用することもできます。

関数

Data Studio では、リソースを CDH 関数として登録できます。データ開発または SQL クエリでは、Hive の ビルトイン関数 と、ユーザーが作成した カスタム関数 の両方を使用できます。

関数の作成

1. [Resource Management] ページで関数を作成すると、[Create Resource and Function] ダイアログボックスが開きます。関数の タイプ、ストレージ パス、および関数の 名前 を設定します。

2. 確認 をクリックして関数を作成します。その後、関数タイプに基づいて関数の詳細を設定します。

   CDH 関数を設定する前に、CDH クラスター が DataWorks の計算リソースとして登録済みであり、必要な CDH リソースがアップロード済みであることを確認してください。CDH 関数 の主要なパラメーターは次の表のとおりです。

   パラメーター	説明
   関数タイプ	関数タイプを選択します：MATH（数学）、AGGREGATE（集約）、STRING（文字列操作）、DATE（日付）、ANALYTIC（分析）、または OTHER（その他）。
   データソース	既存の CDH データソースを選択します。
   クラス名	ユーザー定義関数（UDF）のクラス名は、ResourceName.ClassName 形式で指定します。リソース名は Java パッケージ名またはファイルリソース名です。 DataWorks でカスタム関数を作成する際は、JAR または File タイプの CDH リソースのいずれかを使用できます。リソースタイプが JAR の場合、クラス名 の形式は PackageName.ActualClassName です。IntelliJ IDEA の Copy Reference コマンドを使用することで、この値を取得できます。たとえば、パッケージ名が com.aliyun.cdh.examples.udf で実際のクラス名が UDAFExample の場合、クラス名 パラメーターを com.aliyun.cdh.examples.udf.UDAFExample に設定します。 説明 リソース名に .jar サフィックスを含めないでください。 リソースは、使用前に公開する必要があります。
   リソース一覧	CDH 関数では、ビジュアルモード のみがサポートされており、CDH Jar または CDH File リソースを選択する必要があります。
   コマンドのフォーマット	UDF の使用例です。

3. 上部ツールバーで、保存 をクリックした後、公開 をクリックして関数を公開します。データ開発で使用できるのは、公開済み の関数のみです。

関数の使用

関数を作成・公開後、データ開発または SQL クエリで参照できます。

• データ開発ノードを編集する際、左側ナビゲーションウィンドウで リソース管理 をクリックします。対象の関数を検索して右クリックし、リファレンス関数 を選択します。

  example_function() のような関数名がエディターに自動的に挿入されます。

• SQL クエリを編集する際、作成した関数を SQL ステートメント内で直接使用できます。

SELECT example_function(column_name) FROM table;