ワークスペースを作成すると、Realtime Compute for Apache Flink は、指定した Object Storage Service (OSS) バケット内にいくつかのディレクトリを作成します。これらのディレクトリには、チェックポイント、セーブポイント、ログ、JAR パッケージなど、Flink ジョブで使用または作成されるファイルが保存されます。このトピックでは、これらのディレクトリについて説明し、アーティファクトの管理方法を解説します。
OSS バケット
ディレクトリの内容
ストレージタイプとして OSS バケットを選択すると、Realtime Compute for Apache Flink はそのバケットに以下のディレクトリを作成します。
|
ディレクトリ |
内容 |
|
artifacts |
アップロードされた JAR パッケージ、追加の依存関係、Python ファイルとその依存関係を保存します。 |
|
sql-artifacts |
登録済みのユーザー定義関数およびコネクタで必要となるファイルを保存します。 |
|
flink-jobs |
Flink ジョブの高可用性 (HA) 情報とチェックポイントデータを保存します。 |
|
flink-savepoints |
Flink コンソールで [Create Savepoint] をクリックしたときに生成されるセーブポイントファイルを保存します。 |
|
flink-sessionclusters |
セッションクラスターの高可用性 (HA) 情報とチェックポイントデータを保存します。 |
|
plan |
エキスパートモードを使用する際のリソース設定情報を保存します。 |
|
logs |
ジョブログを OSS に出力するように設定した場合に、そのログを保存します。 |
アーティファクトの管理
OSS バケットを使用する場合、Flink コンソールからは artifacts ディレクトリ内のファイルのアップロード、ダウンロード、および削除のみ実行できます。
-
対象のワークスペースの [Actions] 列で、[Console] をクリックします。
-
Object Storage Service (OSS) コンソールで、ワークスペースに関連付けられている OSS バケットにクロスオリジンリソース共有 (CORS) ルールを設定します。
クロスオリジンリソース共有 (CORS) ルールが設定されていない場合、クロスオリジンの制限によりファイルのアップロードが失敗することがあります。CORS ルールを設定する際は、[Origin] を
https://vvpsg.console.alibabacloud.comに、[Methods] をすべて許可 (すべて選択) に設定し、[Allowed Headers] を*に設定します。 -
左側のナビゲーションペインで、[Artifacts] をクリックします。以下の操作を実行できます。
アクション
説明
アーティファクトのアップロード
[Upload Artifact] をクリックしてローカルファイルを選択するか、ファイルをアーティファクトリスト領域に直接ドラッグします。
アップロード後、ファイルパスは
oss://<Your bound OSS Bucket name>/artifacts/namespaces/<Project name>/<File name>になります。ファイル名をクリックするとパスをコピーできます。プロジェクト名の詳細については、「プロジェクトの表示と削除」をご参照ください。
アーティファクトのダウンロード
[Actions] 列で [Download] をクリックして、アーティファクトをローカルマシンに保存します。
アーティファクトの削除
[Actions] 列で [Delete] をクリックして、OSS バケットからアーティファクトを完全に削除します。
転送アクセラレーション
長距離での大容量ファイルのアップロードまたはダウンロードが遅い場合は、転送アクセラレーションを有効にすることができます。有効にするには、ページの右上隅にある [Transfer Acceleration] スイッチをオンにします。
この機能を使用するには、まず OSS バケットの転送アクセラレーションを有効にする必要があります。この機能を有効にすると、追加のデータ転送料金が発生します。課金の詳細については、「転送アクセラレーション料金」をご参照ください。
関連トピック
-
SQL、JAR、Python ジョブのデプロイ手順については、「ジョブのデプロイ」をご参照ください。
-
実行中のジョブの詳細ログの表示手順については、「起動ログと実行ログの表示」をご参照ください。
-
ジョブのチェックポイントとセーブポイント情報の表示手順については、「状態セットの管理」をご参照ください。
-
Alibaba Cloud アカウントを使用してアーティファクトをアップロードするときに「Access Denied by bucket policy」エラーが発生した場合の対処方法