DataWorks:MaxCompute の単一テーブルを ClickHouse へ一括同期する

パラメーター

説明

Tunnel Resource Group

デフォルトでは、パブリック伝送リソースが使用されます。ご契約済みの専用トンネルクォータをお持ちの場合は、ドロップダウンリストから選択できます。

Table

同期対象の MaxCompute テーブルを選択します。標準の DataWorks ワークスペースを使用している場合、開発環境および本番環境の両方に、同一の名前およびテーブルスキーマを持つ MaxCompute テーブルが存在することを確認してください。

• 構成時にソーステーブルが開発環境に存在しない場合、ドロップダウンリストにそのテーブルが表示されません。

• ソーステーブルが本番環境に存在しない場合、タスクの公開およびスケジュール実行後に、テーブルが見つからないというエラーにより同期タスクが失敗します。

• 開発環境および本番環境のテーブルスキーマが不一致の場合、タスク実行時のフィールドマッピングが構成時と異なる可能性があります。これにより、誤ったデータが書き込まれるおそれがあります。

Filtering Method

Partition FilteringおよびData Filterをサポートしています。

• Partition Filtering：パーティション式を用いて、指定されたソースデータの同期範囲をフィルタリングします。この方法を選択した場合、Partition InformationおよびIf partitions do not exist, パラメーターを構成する必要があります。

• Data Filter：SQL の WHERE 句を用いて同期対象のソースデータを指定します（WHERE キーワードは含めないでください）。

Partition

Filtering MethodをPartitionに設定した場合、このパラメーターは必須です。パーティション列の値を入力します。

• 値には固定値を指定できます（例：ds=20220101）。

• 値にはスケジューリングシステムパラメーターを指定できます（例：ds=${bizdate}）。タスク実行時に、システムがこのパラメーターを対応する値に自動的に置き換えます。

• 複数のパーティションを指定できます。

If partitions do not exist,

指定されたパーティションが存在しない場合に適用するポリシーを指定します。有効な値は以下のとおりです。

• Error

• the partitions are ignored and tasks are normally run.

パラメーター

説明

Table

データを同期する ApsaraDB for ClickHouse テーブルを選択します。ApsaraDB for ClickHouse データソースのテーブルスキーマは、開発環境および本番環境で同一であることを推奨します。

Primary or Unique Key Conflict Handling

insert into を選択した場合、統合タスクは実行時にプライマリキーの重複および制約違反を検証します。

Statement Run Before Writing

必要に応じて、データ同期タスクの前後で SQL 文を実行できます。たとえば、日次同期の前に、対応する日次パーティションをクリアする文を実行することで、新規データの書き込み前に空の状態を保証できます。

Statement Run After Writing

Batch Insert Size (Bytes)

データは ApsaraDB for ClickHouse へバッチ単位で書き込まれます。これらのパラメーターは、1 回のバッチ書き込みにおける最大バイト数およびレコード数を定義します。キャッシュされたデータ量が指定されたバイト数またはレコード数のいずれかに達すると、バッチ書き込みがトリガーされます。

バッチサイズ（バイト）は 16777216（16 MB）に設定し、バッチサイズ（レコード）は単一レコードのサイズに基づいて大きな値に設定することを推奨します。これにより、バッチ書き込みは主にバイト数によってトリガーされます。

たとえば、単一レコードが 1 KB の場合、バッチサイズ（バイト）を 16777216（16 MB）に、バッチサイズ（レコード）を 20000（16 MB ÷ 1 KB = 16384 より大きい値）に設定できます。この場合、バッチサイズが 16 MB に達するたびに書き込みがトリガーされます。

Data Records Per Write

If a batch write fails

ApsaraDB for ClickHouse へのバッチ書き込み中に発生する例外の処理ポリシーを指定します。

• Try single-row write. If it still fails, record it as dirty data.：単一行書き込みにより少量のダーティデータを特定できますが、ClickHouse の負荷に大きな影響を与えます。このオプションは慎重に選択してください。

• Exit on Sync Task Failure：ClickHouse の安定性を確保するために、書き込みエラー発生時にタスクを終了させることができます。アラートを構成することで、迅速に通知を受け、手動でエラーに対応できます。

• Count batch write failures as dirty data.：タスクが完了することを保証したい場合や、破棄されたバッチデータを許容できる場合、バッチデータをダーティデータとしてカウントするよう選択できます。これにより、ダーティデータの上限値を用いてタスクの終了可否を制御できます。