Flink Python ストリーミングノード - DataWorks - Alibaba Cloud ドキュメントセンター

Flink Python ストリーミングノードでは、Python ファイルを送信することで Flink のリアルタイムタスクを実行できます。DataWorks では、アップロード済みの Flink Python リソースまたは Flink ファイルを Python ファイルパスとして選択できます。エントリモジュールとランタイムパラメーターを設定すると、Python ベースのリアルタイムデータ処理タスクを開発および発行できます。このトピックでは、DataWorks で Flink Python ストリーミングノードを開発および設定する方法について説明します。

前提条件

管理センターで Realtime Compute for Apache Flink のコンピューティングリソースをバインド済みであること。詳細については、「フルマネージド Flink コンピューティングリソースのバインド」をご参照ください。
Flink Python リソースをアップロード済みであること。詳細については、「Flink のリソースと関数」をご参照ください。
Flink Python ストリーミングノードを作成済みであること。詳細については、「スケジューリングワークフローのノード作成」をご参照ください。
DataWorks が Realtime Compute for Apache Flink の OpenAPI を呼び出すために使用する RAM ユーザーまたは RAM ロールに、次の OpenAPI 権限が付与されていること。この承認は、タスクを Flink クラスターに送信してデプロイするために使用されます。
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

制限事項

このノードはワークフローでは使用できません。独立したノードとしてのみ開発および実行できます。
Serverless リソースグループのみがサポートされます。従来のスケジューリング専用リソースグループはサポートされていません。

ステップ 1： Flink Python ストリーミングノードの設定

Flink Python ストリーミングノードのエディターページで、次のパラメーターを設定します。

メインパラメーターの設定

ノードエディターページの左側のペインで、次のパラメーターを設定します。

パラメーター	説明
Python ファイルアドレス	必須。ドロップダウンリストから、アップロードされた Flink Python リソースまたは Flink ファイルを選択します。Flink Python リソースは `.py` ファイルのみをサポートします。`.zip` ファイルをメインジョブのエントリとして使用する場合は、Flink ファイルとしてアップロードします。このパラメーターは、[エントリモジュール] パラメーターが空の場合、`.py` で終わる必要があります。
エントリモジュール	プログラムのエントリーモジュールです (`example.word_count` など)。このパラメーターは、[Python ファイルアドレス] パラメーターが `.zip` ファイルを指している場合に必須です。
エントリポイントのメイン引数	ジョブパラメーターです。
Python ライブラリ	ドロップダウンリストから、アップロード済みの Flink ファイルをサードパーティの Python パッケージとして選択します。パッケージは Python ワーカープロセスの PYTHONPATH に追加されるため、Python ユーザー定義関数で直接アクセスできます。
Python アーカイブ	ドロップダウンリストから、アーカイブファイルとして使用するアップロード済みの Flink ファイルを選択します。サポートされているアーカイブ形式は `.zip`、`.jar`、`.whl`、および `.egg` です。
追加の依存ファイル	ドロップダウンリストから、アップロード済みの Flink ファイルを追加の依存ファイルとして選択します。

Flink リソースの設定

Flink クラスター、エンジンバージョン、リソースグループ、リソースモード、ジョブマネージャー / タスクマネージャーのパラメーターなど、Flink リソースの設定は、Flink JAR ストリーミングノードの設定と同じです。詳細については、そのトピックの設定手順をご参照ください。

(オプション) スクリプトパラメーターの設定

右側のナビゲーションペインで、Real-Time configuration > Script Parameters に移動し、Add parameters をクリックして、パラメーター名と値を編集します。

(オプション) Flink ランタイムパラメーターの設定

システムチェックポイント間隔、システムチェックポイント間の最小間隔、ステートデータ TTL などの Flink ランタイムパラメーターの設定は、Flink JAR ストリーミングノードの設定と同じです。詳細については、そのトピックの設定手順をご参照ください。

設定が完了したら、Save をクリックしてノードタスクを保存します。

ステップ 2： Flink Python ストリーミングノードの開始

Flink Python ストリーミングノードを発行します。
タスクを実行するには、運用センターに発行する必要があります。画面の指示に従って、実行する Flink Python ストリーミングノードを発行します。詳細については、「ノードまたはワークフローの発行」をご参照ください。
Flink Python ストリーミングノードを開始します。
タスクが公開された後、[本番環境に公開] の下にある Go to operation and maintenance をクリックします。運用センターで、ノード O&M > Real-time Task O&M > Real-time computing tasks に移動します。開始するタスクを見つけ、Operation 列の Start をクリックします。その後、リアルタイムコンピューティングタスクのステータスを監視できます。