ApsaraDB for MongoDB:MongoShake を使用した MongoDB インスタンスの一方向同期

カテゴリ

パラメータ

説明

例

該当なし

conf.version

設定ファイルのバージョンです。この値は変更しないでください。

conf.version = 4

グローバルオプション

id

同期タスクの ID です。この値はカスタマイズできます。ログファイル名、チェックポイント情報を保存するデータベース名、および宛先インスタンスのデータベース名に使用されます。

id = mongoshake

master_quorum

高可用性オプション。プライマリおよびスタンバイの MongoShake ノードが同じソースからデータを同期する場合、プライマリ MongoShake ノードでこのパラメーターを true に設定します。

master_quorum = false

full_sync.http_port

フル同期のステータスを表示するための HTTP ポートです。

full_sync.http_port = 9101

incr_sync.http_port

増分同期のステータスを表示するための HTTP ポートです。

incr_sync.http_port = 9100

system_profile_port

内部スタック情報を表示するためのプロファイリングポートです。

system_profile_port = 9200

log.level

ログレベルです。有効な値：

• error：エラーレベルの情報です。

• warning：警告レベルの情報です。

• info：現在のシステムステータスに関する情報メッセージです。

• debug：デバッグ情報です。

デフォルト値は info です。

log.level = info

log.dir

ログファイルと PID ファイルのディレクトリです。このパラメータが設定されていない場合、デフォルトで現在のパスにある logs ディレクトリを使用します。

log.dir = ./logs/

log.file

ログファイルの名前です。この値はカスタマイズできます。

log.file = collector.log

log.flush

画面へのログ出力の更新頻度です。有効な値：

• true：すべてのログエントリを即座に出力します。これはパフォーマンスに影響を与える可能性があります。

• false：すべてのログエントリが即座に出力されるとは限りません。このオプションはパフォーマンスを向上させます。

log.flush = false

sync_mode

データ同期モードです。有効な値：

• all：フル同期と増分同期を実行します。

• full：フル同期のみを実行します。

• incr：増分同期のみを実行します。

sync_mode = all

mongo_urls

ソース MongoDB インスタンスの接続文字列 URI です。この例では、データベースアカウントは test で、admin データベースにあります。

mongo_urls = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

mongo_cs_url

ソースがシャードクラスターインスタンスの場合、ConfigServer (CS) ノードの接続文字列 URI を指定する必要があります。ConfigServer ノードの接続文字列 URI を取得する方法については、シャードのエンドポイントの申請をご参照ください。

この例では、データベースアカウントは test で、admin データベースにあります。

mongo_cs_url = mongodb://test:****@dds-bp19f409d7512****-csxxx.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****-csxxx.mongodb.rds.aliyuncs.com:3717/admin

mongo_s_url

ソースがシャードクラスターインスタンスの場合、少なくとも 1 つの mongos ノードの接続文字列 URI を指定する必要があります。複数の mongos アドレスはカンマ (,) で区切ります。mongos ノードの接続文字列 URI を取得する方法については、シャードのエンドポイントの申請をご参照ください。

この例では、データベースアカウントは test で、admin データベースにあります。

mongo_s_url = mongodb://test:****@s-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,s-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717/admin

tunnel

同期チャネルタイプです。有効な値：

• direct：宛先 MongoDB インスタンスに直接データを同期します。

• rpc：NET/RPC を使用してデータを同期します。

• tcp：TCP を使用してデータを同期します。

• file：ファイル転送を使用してデータを同期します。

• kafka：Kafka を使用してデータを同期します。

• mock：テスト専用です。データはチャネルに書き込まれません。

tunnel = direct

tunnel.address

宛先のアドレスです。サポートされるアドレス形式は、tunnel タイプによって異なります：

• tunnel が direct に設定されている場合は、接続先の MongoDB インスタンスの接続文字列 URI を指定します。

• tunnel が rpc に設定されている場合、宛先インスタンスの RPC 受信側アドレスを指定します。

• tunnel が tcp に設定されている場合、宛先インスタンスの TCP 受信側アドレスを指定します。

• tunnel が file に設定されている場合、宛先インスタンスのデータファイルパスを指定します。

• tunnel が kafka に設定されている場合は、topic@brokers1,brokers2 などの Kafka アドレスを指定します。

• tunnel が mock に設定されている場合、このパラメーターは空にします。

この例では、データベースアカウントは test で、admin データベースにあります。

tunnel.address = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

tunnel.message

チャネルのデータ型。このパラメーターは、 tunnel が kafka または file に設定されている場合にのみ有効です。有効な値:

• raw：デフォルトタイプです。データはバッチで書き込みおよび読み取りされます。

• json: データは Kafka に JSON 形式で書き込まれるため、ユーザーは直接読み取ることができます。

• bson: データは Kafka に BSON バイナリ形式で書き込まれます。

tunnel.message = raw

mongo_connect_mode

MongoDB インスタンスの接続モード。このパラメーターは、tunnel が direct に設定されている場合にのみ有効です。有効な値:

• primary：プライマリーノードからデータを取得します。

• secondaryPreferred：セカンダリノードからデータを取得します。

• standalone：指定された単一ノードからデータを取得します。

mongo_connect_mode = secondaryPreferred

filter.namespace.black

データ同期のブラックリストを指定します。指定された名前空間は宛先データベースに同期されません。複数の名前空間はセミコロン (;) で区切ります。

filter.namespace.black = mongodbtest.customer;testdata.test123

filter.namespace.white

データ同期のホワイトリストを指定します。指定された名前空間のみが宛先データベースに同期されます。複数の名前空間はセミコロン (;) で区切ります。

filter.namespace.white = mongodbtest.customer;test123

filter.pass.special.db

特殊なデータベースの同期を有効にします。デフォルトでは、admin、local、mongoshake、config、system.views などのデータベースは除外されます。要件に応じて、これらのデータベースの同期を有効にできます。複数のデータベース名はセミコロン (;) で区切ります。

filter.pass.special.db = admin;mongoshake

filter.ddl_enable

DDL 同期を有効にするかどうかを指定します。有効な値：

• true：有効

• false：無効

filter.ddl_enable = false

checkpoint.storage.url

チェックポイントのストレージアドレスです。再開可能な同期をサポートするために使用します。このパラメータが設定されていない場合、プログラムはインスタンスタイプに基づいて次のいずれかのデータベースにチェックポイントを書き込みます：

• MongoDB レプリカセットインスタンス：mongoshake データベースに書き込まれます。

• MongoDB シャードクラスターインスタンス：ConfigServer ノードの admin データベースに書き込まれます。

この例では、データベースアカウントは test で、admin データベースにあります。

checkpoint.storage.url = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

checkpoint.storage.db

チェックポイントを保存するデータベースの名前です。

checkpoint.storage.db = mongoshake

checkpoint.storage.collection

チェックポイントを保存するコレクションの名前です。プライマリとスタンバイの MongoShake ノードが同じソースからデータを同期する場合、競合を防ぐためにこのコレクション名を変更できます。

checkpoint.storage.collection = ckpt_default

checkpoint.start_position

同期の開始位置です。このパラメーターは、チェックポイントが見つからない場合にのみ使用されます。形式は YYYY-MM-DDTHH:MM:SSZ です。

checkpoint.start_position = 1970-01-01T00:00:00Z

transform.namespace

ソースデータベースまたはコレクションの名前を変更し、宛先に同期します。たとえば、ソースインスタンスの database A.collection B の名前を、宛先インスタンスの database C.collection D に変更できます。

transform.namespace = fromA.fromB:toC.toD

フル同期オプション

full_sync.reader.collection_parallel

MongoShake が同時に取得できるコレクションの最大数です。

full_sync.reader.collection_parallel = 6

full_sync.reader.write_document_parallel

MongoShake のコレクションごとの同時書き込みスレッド数です。

full_sync.reader.write_document_parallel = 8

full_sync.reader.document_batch_size

宛先インスタンスにドキュメントを書き込むためのバッチサイズです。たとえば、値が 128 の場合、128 個のドキュメントがバッチ処理されてから書き込まれます。

full_sync.reader.document_batch_size = 128

full_sync.collection_exist_drop

宛先にソースコレクションと同じ名前のコレクションが存在する場合の処理を指定します。有効な値：

• true：宛先コレクションを削除してから、ソースコレクションを同期します。

  警告

  この操作は宛先コレクションを削除します。続行する前に、バックアップがあることを確認してください。

• false：宛先データベースに同じ名前のコレクションが検出された場合、エラーを報告して終了します。

full_sync.collection_exist_drop = true

full_sync.create_index

同期完了後にインデックスを作成するかどうかを指定します。有効な値：

• foreground：フォアグラウンドインデックスを作成します。

• background：バックグラウンドインデックスを作成します。

• none：インデックスを作成しません。

full_sync.create_index = none

full_sync.executor.insert_on_dup_update

移行先データベースに重複する _id フィールドが含まれている場合に、INSERT ステートメントを UPDATE ステートメントに変換するかどうかを指定します。有効な値:

• true：ステートメントを変換します。

• false：ステートメントを変換しません。

full_sync.executor.insert_on_dup_update = false

full_sync.executor.filter.orphan_document

ソースがシャードクラスターインスタンスの場合、孤立ドキュメントを除外するかどうかを指定します。有効な値：

• true：孤立ドキュメントを除外します。

• false：孤立ドキュメントを除外しません。

full_sync.executor.filter.orphan_document = false

full_sync.executor.majority_enable

宛先インスタンスでマジョリティ書き込みを有効にするかどうかを指定します。有効な値：

• true：マジョリティ書き込みを有効にします。

• false：マジョリティ書き込みを無効にします。

full_sync.executor.majority_enable = false

増分同期オプション

incr_sync.mongo_fetch_method

増分データを取得する方法です。有効な値：

• oplog：ソースデータベースから oplog を取得します。

• change_stream：ソースデータベースから変更イベントを取得します。これは MongoDB 4.0 以降でのみサポートされます。

デフォルト値は oplog です。

incr_sync.mongo_fetch_method = oplog

incr_sync.oplog.gids

クラウドクラスターの双方向レプリケーションを設定するために使用します。

incr_sync.oplog.gids = xxxxxxxxxxxx

incr_sync.shard_key

MongoShake の内部並行処理方法です。このパラメータは変更しないでください。

incr_sync.shard_key = collection

incr_sync.worker

oplog を転送するための同時スレッド数です。ホストのパフォーマンスが十分な場合、この値を増やすことができます。

incr_sync.worker = 8

incr_sync.worker.oplog_compressor

データ圧縮を有効にして、ネットワーク帯域幅の消費を削減します。有効な値：

• none：圧縮なし

• gzip：gzip 形式でデータを圧縮します

• zlib：zlib 形式でデータを圧縮します

• deflate：deflate 形式でデータを圧縮します

incr_sync.worker.oplog_compressor = none

incr_sync.target_delay

ソースからの変更がデスティネーションに適用されるまでの遅延時間 (秒) です。このパラメーターを設定することで、誤操作を防ぐことができます。たとえば、incr_sync.target_delay = 1800 と設定すると、30 分の遅延が発生します。

incr_sync.target_delay = 1800

incr_sync.worker.batch_queue_size

MongoShake の内部キュー設定パラメータです。必要でない限り、これらのパラメータは変更しないでください。

incr_sync.worker.batch_queue_size = 64

incr_sync.adaptive.batching_max_size

incr_sync.adaptive.batching_max_size = 1024

incr_sync.fetcher.buffer_capacity

incr_sync.fetcher.buffer_capacity = 256

MongoDB 同期オプション（direct モードのみ）

incr_sync.executor.upsert

対応する _id または一意のインデックスを持つドキュメントが存在しない場合に、UPDATE ステートメントを INSERT ステートメントに変換するかどうかを指定します。有効な値:

• true：ステートメントを変換します。

• false：ステートメントを変換しません。

incr_sync.executor.upsert = false

incr_sync.executor.insert_on_dup_update

対応する _id または一意のインデックスを持つドキュメントがすでに存在する場合に、INSERT 文を UPDATE 文に変換するかどうかを指定します。 有効な値:

• true：ステートメントを変換します。

• false：ステートメントを変換しません。

incr_sync.executor.insert_on_dup_update = false

incr_sync.conflict_write_to

同期中に書き込みコンフリクトが発生した場合、競合するドキュメントを記録するかどうかを指定します。有効な値：

• none：競合するドキュメントを記録しません。

• db：mongoshake_conflict データベースに競合ログを記録します。

• sdk：SDK に競合ログを記録します。

incr_sync.conflict_write_to = none

incr_sync.executor.majority_enable

宛先インスタンスでマジョリティ書き込みを有効にするかどうかを指定します。有効な値：

• true：マジョリティ書き込みを有効にします。

• false：マジョリティ書き込みを無効にします。

incr_sync.executor.majority_enable = false