DataWorks:Flink のリソースと関数

リソース

Data Studio のリソース管理ページでは、DataWorks を介してローカルリソースを Flink にアップロードできます。その後、これらのリソースを使用して、DataWorks で Flink ジョブを開発したり、カスタム関数を作成したりできます。

制限事項

アップロードされたリソースは、次の制限事項に準拠する必要があります：

• リソースサイズ：

  • オンライン編集：最大サイズは、Python リソースの場合は 10 MB、ファイルリソースの場合は 500 KB です。

  • ローカルファイルからのアップロード：単一リソースの最大サイズは 500 MB です。

  • OSS ファイルからのアップロード：単一リソースの最大サイズは 500 MB です。

• リソースの公開：標準モードのワークスペースを使用する場合、使用前にリソースを本番環境に公開する必要があります。

  説明

  データソース情報は、開発環境と本番環境で異なる場合があります。テーブルまたはリソースをクエリする前に、現在の環境のデータソース情報を確認してください。

• リソース管理：DataWorks では、DataWorks UI 経由でアップロードされたリソースのみを表示および管理できます。

リソースの作成

ローカルファイルからFlink リソースをアップロードできます。作成したリソースは、データ開発のために直接参照するか、関数として登録できます。Flink リソースには、次の種類があります：

• Flink Jar：コンパイル済みの Java JAR パッケージで、拡張子は.jar です。Java プログラムの実行やカスタム関数の作成に使用されます。

• Flink File：任意の種類のファイルを Flink にアップロードするために使用します。これらは、Python ライブラリや Python アーカイブなど、Flink JAR ノードおよび Flink Python ノードの追加の依存関係ファイルとして使用できます。

• Flink Python：拡張子が.py の Python ファイルを Flink にアップロードし、Flink Python ノードで開発を行うために使用します。.zip ファイルをアップロードするには、Flink File リソースタイプを使用します。アップロードされたファイルは、Python ジョブのメインエントリポイントとしても機能します。

1. [リソース管理] ページでリソースを作成し、表示された[リソースと関数の作成] ダイアログボックスで、リソースのタイプ、ストレージのパス、およびリソースの名前を設定します。

2. リソースを作成した後、ローカルファイルをアップロードします。

3. 上部のツールバーで、リソースを保存し、公開します。公開済みのリソースのみがデータ開発で使用できるためです。

リソースの使用

リソースを作成した後、データ開発ノードを編集する際に、左側のナビゲーションバーでリソース管理をクリックし、目的のリソースまたは関数を見つけて右クリックし、リソースのリファレンスを選択します。リソースが正常に参照されると、--@resource_reference{"Resource Name"} 形式のコードが表示されます。

リソースを直接使用するだけでなく、リソースを関数として登録し、開発ノードで使用することもできます。

関数

Data Studio では、リソース管理を使用してリソースを関数として登録できます。データ開発では、Flink の組み込み関数およびカスタム関数を使用できます。

関数の作成

1. 「リソース管理」ページで関数を作成すると開く[リソースと関数の作成] ダイアログボックスで、関数のタイプ、ストレージのパス、および関数の名前を設定します。

2. 確認 をクリックして、新しい関数リソースを作成し、関数のタイプに基づいて関連情報を設定します。

   Flink 関数を設定するには、まず DataWorks でコンピューティングリソースとして Flink クラスターを作成し、関連する Flink リソースを作成する必要があります。次の表に、Flink 関数のパラメーターを示します。

   パラメーター	説明
   [関数タイプ]	関数タイプを選択します：MATH (数学演算関数)、AGGREGATE (集計関数)、STRING (文字列処理関数)、DATE (日付関数)、ANALYTIC (ウィンドウ関数)、および OTHER (その他の関数)。
   [Flink クラスター]	ドロップダウンリストから登録済みの Flink クラスターを選択します。
   [リソース一覧]	Flink 関数はビジュアルインターフェイスからのみ設定できます。ドロップダウンリストからFlink Jar リソースを選択します。
   [コマンドのフォーマット]	このユーザー定義関数 (UDF) の使用例です。

3. 上部のツールバーで、関数を保存し、公開します。データ開発で使用できるのは、公開された関数のみです。

関数の使用

関数を作成して公開した後、データ開発ノードを編集する際に、左側のナビゲーションバーで リソース管理 をクリックし、目的のリソースまたは関数を見つけ、それを右クリックして リファレンス関数 を選択します。 この操作により、現在のノードの編集ページに example_function() などのカスタム関数名がすばやく生成されます。