アップストリームシステムとダウンストリームシステムのスケーリングの処理 - Realtime Compute for Apache Flink

このトピックでは、アップストリームシステムまたはダウンストリームシステムのスケーリング時のコネクタの動作と対処方法、および必要な注意事項について説明します。

コネクタの動作と推奨される操作

説明

タスクの失敗や頂点のダウンタイムなどのエラーが発生した場合、Realtime Compute for Apache Flink はフェールオーバーを実行し、ジョブを自動的に復旧します。正常な状態にジョブを復旧することを目的とし、正確で一貫性のあるデータ処理結果を保証します。

コネクタ	コネクタの動作	推奨される操作	チェックポイントに依存するシンクへの書き込み？
Kafka コネクタ	Kafka パーティションが追加されると、Realtime Compute for Apache Flink はこの変更を動的に検出します。ただし、新しいパーティション数が並列度の整数倍でない場合、データは均等に分散されません。	Kafka パーティションを追加した後、データが均等に分散されるように、ジョブの並列度をパーティション数の約数に調整します。たとえば、Kafka パーティション数が 3 から 8 に増加した場合は、並列度を 4 または 8 に変更します。	はい、厳密に 1 回の配信の場合
Upsert Kafka コネクタ			はい、厳密に 1 回の配信の場合
Hologres コネクタ	インスタンスのスケーリングまたは再起動中に、接続が中断される場合があります。この場合、Realtime Compute for Apache Flink はタイムアウトになるまで接続の再確立を試みます。その後、Hologres インスタンスが再起動されるまで、フェールオーバーの試行を行います。	Realtime Compute for Apache Flink はテーブル名に基づいて Hologres テーブルを読み取るため、ステートレス起動を実行します。	いいえ
Simple Log Service コネクタ	VVR 8.0.8 以前: Realtime Compute for Apache Flink はパーティションの変更に適応するためにジョブをフェールオーバーします。 VVR 8.0.9 以降: `enableNewSource` オプションが true に設定されている場合、Realtime Compute for Apache Flink はジョブをフェールオーバーしません。さらに、`shardDiscoveryIntervalMs` オプションが設定されている場合、Realtime Compute for Apache Flink はパーティション数の変更を定期的に検出します。	フェールオーバー後、ジョブはパーティション数の変更に適応します。ジョブのフェールオーバーを防ぐために、パーティション数を変更した後にジョブを手動で再起動できます。	いいえ
MySQL コネクタ	インスタンスのスケーリングまたは再起動により、接続が中断される場合があります。この場合、Realtime Compute for Apache Flink は切断を検出し、タスクを再起動します。データベースエンドポイントが変更されておらず、データベースサービスが引き続き利用可能な場合、コネクタはジョブを復旧するために接続の再作成を試みます。説明仕組み一般に、外部システムに障害が発生した場合、これらのコネクタは最初に再接続を試みます。これらの試みが成功した場合、ジョブはフェールオーバーをトリガーせずに続行されます。ただし、外部システムが長期間利用できないためにすべての試みが失敗した場合、コネクタは例外をスローし、タスクの失敗を引き起こします。その後、Realtime Compute for Apache Flink はフェールオーバーし、事前定義された戦略に基づいてジョブを復旧します。復旧後、タスクは再編成され、コネクタは外部システムとの接続の再作成を試みます。	スケーリング操作を実行する前に、ジョブの再起動の影響を評価します。エンドポイントが変更された場合は、それに応じてコードを更新し、プログラムを再デプロイして、ジョブを開始します。エンドポイントが変更されない場合は、再起動する必要はありません。説明プライマリ - セカンダリスイッチオーバーまたはクラスタの再起動により、一時的な接続の中断が発生する可能性があります。長期間接続が復旧しない場合は、フェールオーバーがトリガーされます。これを回避するには、構成の変更が完了した後にジョブをキャンセルして再起動します。	いいえ
ApsaraDB RDS for MySQL コネクタ			いいえ
JDBC コネクタ			いいえ
AnalyticDB for PostgreSQL コネクタ			いいえ
AnalyticDB for MySQL V3.0 コネクタ			いいえ
TSDB for InfluxDB コネクタ			いいえ
OceanBase コネクタ (パブリックプレビュー)			いいえ
PolarDB for PostgreSQL			いいえ
Lindorm コネクタ			いいえ
ApsaraDB for HBase コネクタ			いいえ
PostgreSQL CDC コネクタ (パブリックプレビュー)			該当なし
Elasticsearch			はい
StarRocks			はい、厳密に 1 回の配信の場合
MaxCompute コネクタ	スケールダウン操作後、MaxCompute に現在のジョブの並列度で Realtime Compute for Apache Flink にデータを書き込んだり、Realtime Compute for Apache Flink からデータを読み取ったりするための十分な計算リソースがない場合、影響を受けるサブタスクはリソースが利用可能になるまでエラーをスローします。	スケールダウンを実行する前に、データトラフィックを慎重に評価します。あるいは、ジョブの並列度を減らします。	バッチトンネルモードはい
DataHub コネクタ	コネクタはパーティション数の変更を自動的に検出できません。	変更に適応するために、ジョブを手動で再起動します。	いいえ
Tair (Redis OSS-compatible) コネクタ	標準マスターレプリカインスタンス: シャードの増加と減少を含む、非認知スケーリングをサポートします。クラスタインスタンス: インスタンス構成を変更すると、一時的な接続が発生する可能性があります。これを処理するために、Realtime Compute for Apache Flink は接続の再確立を試みます。これらの試みが失敗すると、フェールオーバーがトリガーされます。	標準マスターレプリカインスタンス: 該当なし。クラスタインスタンス: フェールオーバーを防ぎ、適応を高速化するために、構成の変更が完了した後にジョブを手動で再起動します。	いいえ
Tair コネクタ			いいえ
ClickHouse コネクタ	`shardWrite` が false に設定されている場合、ジョブは再起動されません。 true に設定されている場合は、`inferLocalTable` オプションの値に基づいて操作を実行します。	`inferLocalTable` オプションの値に基づいて操作を実行します。 `false` (デフォルト値) に設定されている場合は、ノードの IP アドレスを URL に追加してから、ジョブを再起動できます。 `true` に設定されている場合は、ジョブを手動で再起動できます。ローカルテーブルのノードは自動的に推測されます。	いいえ
ApsaraMQ for RocketMQ コネクタ	ApsaraMQ for RocketMQ 4.x: Realtime Compute for Apache Flink は、ジョブがパーティション数の変更に適応するようにフェールオーバーを実行します。 ApsaraMQ for RocketMQ 5.x: VVR 8.0.6 以前: Realtime Compute for Apache Flink はパーティション数の変更に自動的に適応しません。適応には手動での再起動が必要です。 VVR 8.0.7 以降: Realtime Compute for Apache Flink はパーティション数の変更に自動的に適応します。	自動適応により、データ消費が繰り返される場合があります。これが許容できない場合は、パーティション数を変更する前にジョブをキャンセルします。変更が完了したら、最後のチェックポイントからジョブを再起動します。	はい
Tablestore コネクタ	コネクタにデータが存在しないか、バッファによって送信されます。	該当なし	はい
SelectDB コネクタ	データの書き込みは影響を受けません。	該当なし	いいえ
MongoDB コネクタ	データ読み取りステージ中に、トポロジの変更により `134 - ReadConcernMajorityNotAvailableYet` エラーが発生します。これは再試行不可能なエラーです。	操作によってトポロジが変更される場合は、最初にジョブをキャンセルし、操作が完了してクラスタが正常に戻ったときにジョブを再起動することをお勧めします。	はい
OSS コネクタ	データ構造とステータスを記述するために独立したメタデータ層が維持されており、これらのシステムのスケーリングは含まれていないため、該当しません。	該当なし	はい
Iceberg コネクタ		該当なし	はい
Apache Paimon コネクタ		該当なし	はい
Hudi コネクタ (廃止予定)		該当なし	はい
Print コネクタ	これらのコネクタはテスト専用に使用されるため、該当しません。	該当なし	該当なし
Blackhole コネクタ		該当なし	該当なし
Datagen コネクタ		該当なし	該当なし
Faker コネクタ		該当なし	該当なし