DataWorks:Flink のリソースと関数

リソースの説明

Data Studio のリソースと関数の管理では、ローカルリソースを DataWorks 経由で Flink にアップロードして、DataWorks で Flink ジョブを開発したり、Flink カスタム関数を作成したりできます。

制限事項

アップロードされたリソースは、次の制限に準拠する必要があります。

• リソースサイズ: 最大 500 MB のリソースをアップロードできます。

• リソースの公開: 標準モードのワークスペースを使用する場合、リソースを本番環境に公開する必要があります。リソースが公開されると、本番環境のプロジェクトで利用可能になります。

  説明

  開発環境と本番環境では、データソース情報が異なる場合があります。対応する環境でテーブルやリソースのクエリ、その他の操作を実行する前に、その環境のデータソース情報を確認してください。

• リソース管理: DataWorks では、DataWorks を使用してアップロードしたリソースのみを表示および管理できます。

リソースの作成

Flink リソースはローカルアップロードをサポートしています。作成されたリソースは、データ開発で直接参照したり、関数として作成したりできます。

1. [リソース管理] ページで、表示される [リソースと関数の作成] ダイアログボックスで、リソースの [タイプ]、[パス]、[名前] を設定します。

2. リソースを作成した後、ファイルソースとしてローカルファイルをアップロードする必要があります。

3. 上部のツールバーからリソースを [保存] し、[公開] します。公開済みのリソースのみがデータ開発で使用できます。

リソースの使用

リソースを作成した後、データ開発を実行する際に、データ開発ノードの編集中に左側のナビゲーションウィンドウで [リソース管理] をクリックします。次に、ターゲットのリソースまたは関数を見つけて右クリックし、[リソースの参照] を選択します。リソースの参照に成功すると、##@resource_reference{"resource name"} というフォーマットのコードが表示されます。

リソースを直接使用するだけでなく、リソースを関数として作成し、開発ノードで使用することもできます。

関数の説明

Data Studio のリソースと関数の管理では、リソースを関数として登録できます。データ開発では、Flink が提供する ビルトイン関数 と Flink カスタム関数 を使用できます。

関数の作成

1. [リソース管理] ページで、表示される [リソースと関数の新規作成] ダイアログボックスで、関数の [タイプ]、[パス]、[名前] を設定します。

2. [確認] をクリックして関数リソースを作成し、関数タイプに応じて関連情報を設定します。

   Flink 関数を設定する前に、DataWorks で Flink クラスターを計算リソースとして作成し、Flink リソースをアップロードしていることを確認してください。以下は、Flink 関数のパラメーターの説明です。

   パラメーター	説明
   関数タイプ	関数タイプを選択します。これには、[MATH] (算術演算関数)、[AGGREGATE] (集計関数)、[STRING] (文字列処理関数)、[DATE] (日付関数)、[ANALYTIC] (ウィンドウ関数)、[OTHER] (その他の関数) が含まれます。
   Flink クラスター	ドロップダウンリストから登録済みの Flink クラスターを選択します。
   リソースリスト	Flink 関数を設定する場合、視覚的なインターフェイス操作のみがサポートされます。ドロップダウンリストから [Flink JAR] リソースを選択します。
   コマンドフォーマット	UDF の使用方法の例です。

3. 上部のツールバーから関数を [保存] し、[公開] します。公開済みの関数のみがデータ開発で使用できます。

関数の使用

関数を作成して公開した後、データ開発ノードを編集中に、左側のナビゲーションウィンドウで [リソース管理] をクリックし、ターゲットのリソースまたは関数を見つけて右クリックし、[関数の参照] を選択します。これにより、現在のノード編集ページにカスタム関数名がすばやく生成されます。例: example_function()。