ワークスペースを作成すると、Realtime Compute for Apache Flink は、指定した Object Storage Service (OSS) バケット内に複数のディレクトリを作成します。これらのディレクトリには、チェックポイント、セーブポイント、ログ、JAR パッケージなど、Flink ジョブで使用または作成されるファイルが格納されます。このトピックでは、これらのディレクトリについて説明し、アーティファクトの管理方法を解説します。
OSS バケット
ディレクトリの内容
ストレージタイプとして OSS バケットを選択すると、Realtime Compute for Apache Flink はそのバケット内に次のディレクトリを作成します。
ディレクトリ | 内容 |
artifacts | アップロードされた JAR パッケージ、追加の依存関係、Python ファイルとその依存関係を格納します。 |
sql-artifacts | 登録済みのユーザー定義関数とコネクタに必要なファイルを格納します。 |
flink-jobs | Flink ジョブの高可用性 (HA) 情報とチェックポイントデータを格納します。 |
flink-savepoints | Flink コンソールで [セーブポイントの作成] をクリックしたときに生成されるセーブポイントファイルを格納します。 |
flink-sessionclusters | セッションクラスターの高可用性 (HA) 情報とチェックポイントデータを格納します。 |
plan | エキスパートモードを使用する際のリソース構成情報を格納します。 |
logs | ジョブのログを OSS に出力するように設定した場合に、ジョブログを格納します。 |
アーティファクトの管理
OSS バケットを使用する場合、Flink コンソールからは artifacts ディレクトリ内のファイルのアップロード、ダウンロード、削除のみが可能です。
対象のワークスペースの 操作 列で、コンソール をクリックします。
Object Storage Service (OSS) コンソールで、ワークスペースに関連付けられている OSS バケットのオリジン間リソース共有 (CORS) ルールを設定します。
オリジン間リソース共有 (CORS) ルールが設定されていない場合、オリジン間の制限によりファイルのアップロードが失敗することがあります。CORS ルールを設定する際は、[オリジン] を https://vvpsg.console.alibabacloud.com に設定し、すべての [メソッド] を許可 (すべて選択) し、[許可されたヘッダー] を
*に設定します。左側のナビゲーションウィンドウで、アーティファクト をクリックします。以下の操作を実行できます。
操作
説明
アーティファクトのアップロード
アーティファクトのアップロード をクリックしてローカルファイルを選択するか、ファイルをアーティファクトリストのエリアに直接ドラッグします。
アップロード後、ファイルパスは
oss://<Your bound OSS Bucket name>/artifacts/namespaces/<Project name>/<File name>となります。ファイル名をクリックするとパスをコピーできます。プロジェクト名の詳細については、「プロジェクトの表示と削除」をご参照ください。
アーティファクトのダウンロード
操作 列で ダウンロード をクリックし、アーティファクトをローカルマシンに保存します。
アーティファクトの削除
操作 列で 削除 をクリックし、アーティファクトを OSS バケットから完全に削除します。
転送アクセラレーション
長距離での大容量ファイルのアップロードまたはダウンロードが遅い場合は、転送アクセラレーションを有効にできます。有効にするには、ページの右上隅にある 転送アクセラレーション スイッチをオンにします。
この機能を使用するには、まず OSS バケットの転送アクセラレーションを有効にする必要があります。この機能を有効にすると、追加のデータ転送料金が発生します。課金の詳細については、「転送アクセラレーション料金」をご参照ください。
関連トピック
SQL、JAR、Python ジョブのデプロイ手順については、「ジョブのデプロイ」をご参照ください。
実行中のジョブの詳細なログの表示手順については、「起動ログと実行ログの表示」をご参照ください。
ジョブのチェックポイントとセーブポイント情報の表示手順については、「状態セットの管理」をご参照ください。
Alibaba Cloud アカウントを使用してアーティファクトをアップロードする際に「Access Denied by bucket policy」エラーが発生した場合はどうすればよいですか？