Data Transmission Service:追加の列

サポートされているシナリオ

追加列は、次のソースとターゲットの組み合わせでサポートされています：

注意事項

• 同期インスタンスでは、[同期タイプ] を [スキーマ同期] に設定します。 移行インスタンスでは、[移行タイプ] を [スキーマ移行] に設定します。

• 実行中の同期タスクで追加列ルールを修正する前に、列名がターゲットテーブルの既存の列と競合しないか確認してください。

• ソースデータベースが MongoDB の場合、ターゲットコレクションに _id または _value という名前のフィールドが含まれていると、同期は失敗します。

• [選択したオブジェクト] 内のデータベースを右クリックすると、設定済みの追加列が、そのターゲットデータベース内のすべてのテーブルに適用されます。

• 同期タスクで抽出、変換、ロード (ETL) が設定されている場合、まず追加列ルールが実行されて値が生成され、その後、ETL スクリプトがターゲットに同期される最終的な値を計算します。

同期タスクへの列の追加

以下の手順では、データ同期インスタンスを例として使用します。同じ手順が移行インスタンスにも適用されます。

式のリファレンス

追加列の値は、定数、変数、演算子、式、関数で構成されます。その構文は、ETL で使用されるデータ処理 DSL (ドメイン固有言語) と互換性があります。

式では、列名を単一引用符 ('col') ではなく、バッククォート (`col`) で囲みます。

グローバル機能

• フロー制御関数

  関数	構文	パラメーター	例
  if 文	e_if(bool_expr, func_invoke)	bool_expr：ブール値の定数または関数呼び出し。定数：true または false。関数呼び出しの例：op_gt(`id`, 10)。 func_invoke：関数呼び出し。サポート対象：e_drop, e_keep, e_set, e_if, e_compose	e_if(op_gt(`id`, 10), e_drop()); ID > 10 の場合、レコードを破棄します。
  if-else 文	e_if_else(bool_expr, func_invoke1, func_invoke2)	bool_expr：ブール値の定数または関数呼び出し。定数：true または false。関数呼び出しの例：op_gt(`id`, 10)。 func_invoke1：条件が true の場合に実行される関数呼び出し。 func_invoke2：条件が false の場合に実行される関数呼び出し。	e_if_else(op_gt(`id`, 10), e_set(`tag`, 'large'), e_set(`tag`, 'small')); ID > 10 の場合、tag を "large" に設定し、それ以外の場合は "small" に設定します。
  複数の条件を評価し、最初に一致した操作を実行する switch のような文。どの条件にも一致しない場合は、デフォルトの操作を実行します。	s_switch(condition1, func1, condition2, func2, ..., default=default_func)	condition1：ブール値の定数または関数呼び出し。定数：true または false。関数呼び出しの例：op_gt(`id`, 10)。 func_invoke：関数呼び出し。condition1 をチェックし、true の場合はこの関数を実行して switch を終了します。false の場合は次の条件をチェックします。 default_func：すべての条件が false の場合に実行される関数呼び出し。	e_switch(op_gt(`id`, 100), e_set(`str_col`, '>100'), op_gt(`id`, 90), e_set(`str_col`, '>90'), default=e_set(`str_col`, '<=90'))。
  複数の操作を組み合わせる	e_compose(func1, func2, func3, ...)	func1：関数呼び出し。e_set, e_drop, e_if が可能です。 func2：関数呼び出し。e_set, e_drop, e_if が可能です。	e_compose(e_set(`str_col`, 'test'), e_set(`dt_col`, dt_now())); str_col を "test" に、dt_col を現在の時刻に設定します。

• データ操作関数

  関数	構文	パラメーター	例
  このレコードを破棄する (同期しない)	e_drop()	なし	e_if(op_gt(`id`, 10), e_drop()); ID > 10 のレコードを破棄します。
  このレコードを保持する (ターゲットに同期する)	e_keep(condition)	condition：ブール式	e_keep(op_gt(id, 1)); ID > 1 のレコードのみを同期します。
  列の値を設定	e_set(`col`, val, NEW)	col：列名 val：定数または関数呼び出し。col のデータ型と一致する必要があります。 NEW：col を val のデータ型に変換します (オプション) 重要 NEW を省略する場合は、前のカンマを含めないでください。タスクエラーを避けるために、データ型の互換性を確認してください。	e_set(`dt_col`, dt_now()); dt_col を現在の時刻に設定します。 e_set(`col1`, `col2` + 1); col1 を col2 + 1 に設定します。 e_set(`col1`, 1, NEW); col1 を数値型に変換し、1 に設定します。
  MongoDB のフィールド保持、フィールド破棄、およびフィールド名マッピング	e_expand_bson_value('*', 'fieldA',{"fieldB":"fieldC"})	*：保持するフィールド名。* はすべてのフィールドを意味します。 fieldA：破棄するフィールド名。 {"fieldB":"fieldC"}：フィールド名マッピング。fieldB はソースフィールド名、fieldC はターゲットフィールド名です。 説明 フィールド名マッピングはオプションです。	e_expand_bson_value("*", "_id,name"); _id と name を除くすべてのフィールドをターゲットに書き込みます。

よくある質問

MySQL から Redis への DTS タスクでカスタムキーと値を設定するにはどうすればよいですか？

デフォルトでは、DTS は 3 つの[キャッシュマッピングモード] オプションのいずれかを使用してソース行全体をマッピングします。特定の列を抽出してカスタムのキーと値のペアを構築するには、代わりに 2 つの特別な追加列 __DTS_TP_TO_REDIS_KEY__ と __DTS_TP_TO_REDIS_VALUE__ を追加する必要があります。

3 つのキャッシュデータマッピングモードは以下の通りです：

• KV モデル (データベース-テーブル-主キー)

• ハッシュモデル (データベース-テーブル-主キー)

• ハッシュモデル (データベース-テーブル)

また、[値データの分割方式] (オプション：[JSON 形式]、[キーと値のカンマ区切り]、または[値のカンマ区切り]) を設定し、同期する DML 操作タイプ (INSERT、UPDATE、DELETE) を選択する必要があります。

設定手順：

1. オブジェクトを設定する際、データベースとテーブルを右側のペインに移動し、宛先 Redis DB の編集ボタンをクリックします。

2. 列 __DTS_TP_TO_REDIS_KEY__ と __DTS_TP_TO_REDIS_VALUE__ を追加します。

3. DSL 構文を使用して[値の割り当て] 式を設定します。たとえば、以下の MySQL の aes テーブルを考えてみましょう：

   CREATE TABLE `aes` (
       `id`            BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '自動インクリメント主キー',
       `login_time`    INT(10)             NOT NULL DEFAULT '0'    COMMENT 'ログイン時刻',
       `pay_time`      INT(10)             NOT NULL DEFAULT '0'    COMMENT '支払い時刻',
       `gid`           INT(10)             NOT NULL DEFAULT '0'    COMMENT 'ゲーム ID',
       `cid`           INT(10)             NOT NULL DEFAULT '0'    COMMENT 'チャネル ID',
       `gcp_code`      VARCHAR(40)         NOT NULL DEFAULT ''     COMMENT 'チャネルパッケージ番号。空の値は gid の新しいエントリを示します。',
       `uname`         VARCHAR(120)        CHARACTER SET utf8 COLLATE utf8_bin NOT NULL DEFAULT '' COMMENT 'アカウント',
       PRIMARY KEY (`id`),
       UNIQUE KEY `idx_uq` (`gid`, `gcp_code`, `uname`),
       KEY `idx_uname` (`uname`)
   )ENGINE=InnoDB AUTO_INCREMENT=48022 DEFAULT CHARSET=utf8 COMMENT='ゲームアカウントの有効化時刻情報テーブル';

   ビジネス要件：

   • キー： stat_create_day:{gcp_code}:{uname} — 2 つのソース列から構築

   • 値： {login_time} — datetime 形式に変換された UNIX タイムスタンプ

   値の割り当て式：

   • __DTS_TP_TO_REDIS_KEY__: 'stat_create_day'+':'+gcp_code+':'+uname

   • __DTS_TP_TO_REDIS_VALUE__: dt_fromtimestamp(cast_string_to_long(login_time))

4. 同期または移行が完了すると、Redis 内のキーと値のペアは次のようになります：

   データ同期が完了したら、DMS を介してターゲット Redis インスタンスに接続します。DB0 で、stat_create_day:{gcp_code}:{uname} タイプのキーに get コマンドを実行します。返される値は datetime 形式 (例：2025-11-18 23:49:29) となり、dt_fromtimestamp 関数が UNIX タイムスタンプを datetime 値に正しく変換したことを確認できます。