すべてのプロダクト
Search
ドキュメントセンター

DataWorks:EMR関数の作成

最終更新日:Jan 11, 2025

このトピックでは、E-MapReduce(EMR)関数の作成方法について説明します。

前提条件

  • Alibaba Cloud EMRクラスターが作成され、クラスターが属するセキュリティグループに次の内容を含むインバウンドルールが追加されていること。

    • アクション: 許可

    • プロトコルタイプ: カスタムTCP

    • ポート範囲: 8898/8898

    • 承認オブジェクト: 100.104.0.0/16

  • EMR計算エンジンインスタンスがワークスペースに関連付けられていること。EMRフォルダーは、ワークスペース管理 ページでワークスペースにEMR計算エンジンインスタンスを関連付けた後にのみ表示されます。詳細については、「ワークスペースの作成と管理」をご参照ください。

  • 必要なリソースがアップロードされていること。

手順

  1. [datastudio] ページに移動します。

    DataWorksコンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションペインで、[データ開発とガバナンス] > [データ開発] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

  2. ワークフローを作成します。詳細については、「自動トリガーワークフローの作成」をご参照ください。

  3. オフラインJava環境でJavaコードを記述し、コードをJARパッケージに圧縮してから、JARリソースとしてDataWorksにアップロードします。詳細については、「EMRリソースの作成と使用」をご参照ください。

  4. 関数を作成します。

    1. [ビジネスフロー] セクションでワークフローをクリックし、[EMR] を右クリックして、[ソリューションの作成] を選択します。

    2. [関数の作成] ダイアログボックスで、[名前][エンジンインスタンス][パス] パラメーターを設定します。

    3. [作成] をクリックします。

    4. 表示される構成タブの [関数情報] セクションで、パラメーターを設定します。

      Function information section

      パラメーター

      説明

      関数タイプ

      関数のタイプ。有効な値: [数学演算関数][集計関数][文字列処理関数][日付関数][ウィンドウ関数][その他の関数]

      エンジンインスタンス

      現在のワークスペースに関連付けられているEMRクラスター。デフォルトでは、エンジンインスタンスを変更することはできません。

      エンジンの種類

      計算エンジンのタイプ。デフォルトでは、エンジンの種類を変更することはできません。

      EMRデータベース

      EMRクラスターが存在するデータベース。ドロップダウンリストからデータベースを選択します。データベースを作成するには、[新規ライブラリ] をクリックします。[新規ライブラリ] ダイアログボックスで、パラメーターを設定し、[OK] をクリックします。

      関数名

      関数の名前。SQLステートメントでこの名前を使用して関数を参照できます。関数名はグローバルに一意である必要があり、関数作成後は変更できません。

      所有者

      このパラメーターは自動的に設定されます。

      クラス名

      必須。関数を実装するクラスの名前。

      リソース

      必須。関数で使用されるリソース。ドロップダウンリストから、現在のワークスペースで作成されたリソースを選択します。リソースを作成するには、[リソースの作成] をクリックします。[リソースの作成] ダイアログボックスで、パラメーターを設定し、[作成] をクリックします。

      説明

      関数の説明。

      式の構文

      関数の構文。例: test

      パラメーターの説明

      サポートされている入力パラメーターと出力パラメーターの説明。

      戻り値

      オプション。戻り値。例: 1。

      オプション。関数の例。

  5. 上部ツールバーの Save アイコンをクリックします。

  6. 関数をコミットします。

    1. 上部ツールバーの Submit icon アイコンをクリックします。

      説明

      EMR関数をコミットする際には、スケジューリング用のリソースグループを選択する必要があります。スケジューリング専用の排他的リソースグループを使用することをお勧めします。スケジューリング専用の排他的リソースグループがない場合は、購入して構成できます。詳細については、「スケジューリング専用の排他的リソースグループの作成と使用」をご参照ください。

    2. [ノードのコミット] ダイアログボックスで、[変更の説明] フィールドにコメントを入力します。

    3. [OK] をクリックします。

  7. UDFをコミットします。

    1. 上部ツールバーの Submit アイコンをクリックします。

    2. [ノードのコミット] ダイアログボックスで、[変更の説明] フィールドにコメントを入力します。

    3. [OK] をクリックします。