Data Transmission Service:DTS の移行または同期タスクで ETL を構成する

既存の同期タスクの ETL 構成は、次の方法で変更できます。

• ETL を構成せずに同期タスクが作成された場合 ([ETL の構成] オプションが [いいえ] に設定されていた場合)、設定を [いいえ] から [はい] に変更し、DSL スクリプトを構成できます。

• 同期タスクに ETL が構成されている場合は、DSL スクリプトを変更するか、[ETL の構成] を [いいえ] に設定できます。

  重要

  • 既存の DSL スクリプトを変更する前に、同期オブジェクトを 選択中のオブジェクト リストから ソースオブジェクト リストに移動し、それらを 選択中のオブジェクト リストに再度追加する必要があります。

  • 移行タスクの DSL スクリプトは変更できません。

注意

• 既存の同期タスクの ETL 構成を変更しても、ターゲットテーブルのテーブルスキーマの変更はサポートされません。スキーマを変更するには、同期タスクを開始する前にターゲットデータベースでテーブルスキーマを変更する必要があります。

• ETL 構成を変更すると、タスクが中断される可能性があります。注意して進めてください。

• ETL 構成への変更は、同期タスクが開始された後の増分データにのみ有効になります。これらの変更は、変更前に同期された既存データには影響しません。

• DSL スクリプトは、主にデータ変換とクレンジングに使用されます。データベースオブジェクトの作成はサポートしていません。

• DSL スクリプトで構成されたフィールドは、ソースデータベースに存在する必要があり、フィルター条件によって除外されたフィールドであってはなりません。そうしないと、タスクが失敗する可能性があります。

• DSL スクリプトでは大文字と小文字が区別されます。データベース、テーブル、およびフィールド名は、ソースデータベースの名前と完全に一致する必要があります。

• DSL スクリプトは複数の式をサポートしていません。e_compose 関数を使用して、複数の式を 1 つの式にまとめることができます。

• DSL スクリプトによって処理された後、ソースデータベース内のすべてのテーブルに対する DML の変更は、同じ列情報を持つ必要があります。そうしないと、タスクが失敗する可能性があります。たとえば、DSL スクリプトで e_set 関数を使用して新しい列を追加する場合、ソースデータベースの INSERT、UPDATE、および DELETE 操作のすべてが、ターゲットテーブルに新しい列が追加される結果になるようにする必要があります。詳細については、「データ変更時刻の記録」をご参照ください。

データ処理 DSL は、データ同期シナリオでのデータ処理のために DTS によって設計されたスクリプト言語です。条件関数をサポートし、文字列、日付、数値を処理できます。データ処理ロジックを柔軟に定義でき、次の属性があります。

• 強力: 多くの関数を提供し、関数の構成をサポートします。

• 比較的単純な構文: データフィルタリング、データ変換、データマスキングなどの一般的なシナリオの例を提供します。詳細については、「一般的なシナリオの例」をご参照ください。

• 高性能: コード生成技術に基づいており、同期プロセスへのパフォーマンスへの影響は最小限です。

定数と変数

• 定数

  タイプ	例
  int	123
  float	123.4
  string	"hello1_world"
  boolean	true または false
  datetime	DATETIME('2021-01-01 10:10:01')

• 変数

  変数	説明	データの型	値の例
  __TB__	テーブル名	string	table
  __DB__	データベース名	string	mydb
  __OPERATION__	操作タイプ	string	__OP_INSERT__,__OP_UPDATE__,__OP_DELETE__
  __BEFORE__	UPDATE 操作の before イメージ (更新前の値) 説明 DELETE 操作には before イメージしかありません。	特殊なマーク、型なし	v(`column_name`,__BEFORE__)
  __AFTER__	UPDATE 操作の after イメージ (更新後の値) 説明 INSERT 操作には after イメージしかありません。	特殊なマーク、型なし	v(`column_name`,__AFTER__)
  __COMMIT_TIMESTAMP__	トランザクションのコミット時刻	datetime	'2021-01-01 10:10:01'
  `column`	データレコード内の指定された列の値	string	`id`, `name`

式関数

• 数値演算

  機能	構文	有効値	戻り値	例
  加算	op_sum(value1, value2)	value1: 整数または浮動小数点数 value2: 整数または浮動小数点数	両方のパラメーターが整数の場合は整数が返されます。それ以外の場合は、浮動小数点数が返されます。	op_sum(`col1`, 1.0)
  減算	op_sub(value1, value2)	value1: 整数または浮動小数点数 value2: 整数または浮動小数点数	両方のパラメーターが整数の場合は整数が返されます。それ以外の場合は、浮動小数点数が返されます。	op_sub(`col1`, 1.0)
  乗算	op_mul(value1, value2)	value1: 整数または浮動小数点数 value2: 整数または浮動小数点数	両方のパラメーターが整数の場合は整数が返されます。それ以外の場合は、浮動小数点数が返されます。	op_mul(`col1`, 1.0)
  部門	op_div_true(value1, value2)	value1: 整数または浮動小数点数 value2: 整数または浮動小数点数	両方のパラメーターが整数の場合は整数が返されます。それ以外の場合は、浮動小数点数が返されます。	op_div_true(`col1`, 2.0)。col1=15 の場合、7.5 が返されます。
  剰余演算	op_mod(value1, value2)	value1: 整数または浮動小数点数 value2: 整数または浮動小数点数	両方のパラメーターが整数の場合は整数が返されます。それ以外の場合は、浮動小数点数が返されます。	op_mod(`col1`, 10)。col1=23 の場合、3 が返されます。

• 論理演算

  機能	構文	有効値	戻り値	例
  等しい	op_eq(value1, value2)	value1: 整数、浮動小数点数、または文字列 value2: 整数、浮動小数点数、または文字列	ブール値: true または false	op_eq(`col1`, 23)
  より大きい	op_gt(value1, value2)	value1: 整数、浮動小数点数、または文字列 value2: 整数、浮動小数点数、または文字列	ブール値: true または false	op_gt(`col1`, 1.0)
  より小さい	op_lt(value1, value2)	value1: 整数、浮動小数点数、または文字列 value2: 整数、浮動小数点数、または文字列	ブール値: true または false	op_lt(`col1`, 1.0)
  以上	op_ge(value1, value2)	value1: 整数、浮動小数点数、または文字列 value2: 整数、浮動小数点数、または文字列	ブール値: true または false	op_ge(`col1`, 1.0)
  以下	op_le(value1, value2)	value1: 整数、浮動小数点数、または文字列 value2: 整数、浮動小数点数、または文字列	ブール値: true または false	op_le(`col1`, 1.0)
  AND 操作	op_and(value1, value2)	value1: ブール値 value2: ブール値	ブール値: true または false	op_and(`is_male`, `is_student`)
  OR 操作	op_or(value1, value2)	value1: ブール値 value2: ブール値	ブール値: true または false	op_or(`is_male`, `is_student`)
  IN 操作	op_in(value, json_array)	value: 任意の型 json_array: JSON 形式の文字列	ブール値: true または false	op_in(`id`,json_array('["0","1","2","3","4","5","6","7","8"]'))
  Is null	op_is_null(value)	value: 任意の型	ブール値: true または false	op_is_null(`name`)
  Is not null	op_is_not_null(value)	value: 任意の型	ブール値: true または false	op_is_not_null(`name`)

• 文字列関数

  機能	構文	有効値	戻り値	例
  文字列の連結	op_add(str_1,str_2,...,str_n)	str_1: 文字列 str_2: 文字列 ... str_n: 文字列	連結された文字列	op_add(`col`,'hangzhou','dts')
  文字列のフォーマットと連結	str_format(format, value1, value2, value3, ...)	format: 中括弧 ({}) をプレースホルダーとして使用する文字列。例: "part1: {}, part2: {}"。 value1: 任意 value2: 任意	フォーマットされた文字列	str_format("part1: {}, part2: {}", `col1`, `col2`)。col1="ab" かつ col2="12" の場合、"part1: ab, part2: 12" が返されます。
  文字列の置換	str_replace(original, oldStr, newStr, count)	original: 元の文字列 oldStr: 置換される文字列 newStr: 置換後の文字列 count: 置換の最大回数を指定する整数。このパラメーターを -1 に設定すると、すべての一致が置換されます。	置換後の文字列	str_replace(`name`, "a", 'b', 1)。name="aba" の場合、"bba" が返されます。str_replace(`name`, "a", 'b', -1)。name="aba" の場合、"bbb" が返されます。
  すべての文字列型フィールド (varchar、text、char など) の値を置換します	tail_replace_string_field(search, replace, all)	search: 置換される文字列 replace: 置換後の文字列 all: すべての一致した文字列を置換するかどうかを指定します。このパラメーターは true のみをサポートします。 説明 すべての一致した文字列を置換する必要がない場合は、str_replace 関数を使用します。	置換後の文字列	tail_replace_string_field('\u000f','',true)。すべての文字列型フィールドの値で "\u000f" をスペースに置き換えます。
  文字列の先頭と末尾から特定の文字を削除します	str_strip(string_val, charSet)	string_val: 元の文字列 char_set: 削除する文字のコレクション	先頭と末尾から文字が削除された後の文字列	str_strip(`name`, 'ab')。name=axbzb の場合、xbz が返されます。
  文字列を小文字に変換します	str_lower(value)	value: 文字列の列または文字列定数	小文字の文字列	str_lower(`str_col`)
  文字列を大文字に変換します	str_upper(value)	value: 文字列の列または文字列定数	大文字の文字列	str_upper(`str_col`)
  文字列を数値に変換します	cast_string_to_long(value)	value: 文字列	整数	cast_string_to_long(`col`)
  数値を文字列に変換します	cast_long_to_string(value)	value: 整数	文字列	cast_long_to_string(`col`)
  部分文字列の出現回数を数えます	str_count(str,pattern)	str: 文字列の列または文字列定数 pattern: 検索する部分文字列	部分文字列の出現回数	str_count(`str_col`, 'abc')。str_col="zabcyabcz" の場合、2 が返されます。
  部分文字列を検索します	str_find(str, pattern)	str: 文字列の列または文字列定数 pattern: 検索する部分文字列	部分文字列の最初の一致の位置。一致が見つからない場合は、`-1` が返されます。	str_find(`str_col`, 'abc')。`str_col="xabcy"` の場合、`1` が返されます。
  文字列が文字のみで構成されているかどうかを確認します	str_isalpha(str)	str: 文字列の列または文字列定数	true または false	str_isalpha(`str_col`)
  文字列が数字のみで構成されているかどうかを確認します	str_isdigit(str)	str: 文字列の列または文字列定数	true または false	str_isdigit(`str_col`)
  正規表現のマッチング	regex_match(str,regex)	str: 文字列の列または文字列定数 regex: 正規表現の文字列の列または文字列定数	true または false	regex_match(__TB__,'user_\\d+')
  文字列の一部を指定された文字でマスクします。これは、電話番号の最後の 4 桁をアスタリスクに置き換えるなど、データマスキングに使用できます。	str_mask(str, start, end, maskStr)	str: 文字列の列または文字列定数 start: マスクの開始位置を指定する整数。最小値は 0 です。 end: マスクの終了位置を指定する整数。最大値は文字列の長さから 1 を引いたものです。 maskStr: 長さ 1 の文字列。例: '#'。	開始位置から終了位置までの部分以降の文字列がマスクされます	str_mask(`phone`, 7, 10, '#')
  指定された文字列の後の部分文字列を取得します	substring_after(str, cond)	str: 元の文字列 cond: 文字列	文字列 説明 戻り値には文字列 cond は含まれません。	substring_after(`col`, 'abc')
  指定された文字列の前の部分文字列を取得します	substring_before(str, cond)	str: 元の文字列 cond: 文字列	文字列 説明 戻り値には文字列 cond は含まれません。	substring_before(`col`, 'efg')
  2 つの指定された文字列の間の部分文字列を取得します	substring_between(str, cond1, cond2)	str: 元の文字列 cond1: 文字列 cond2: 文字列	文字列 説明 戻り値には文字列 cond1 と cond2 は含まれません。	substring_between(`col`, 'abc','efg')
  値が文字列であるかどうかを確認します	is_string_value(value)	value: 文字列または列名	ブール値: true または false	is_string_value(`col1`)
  文字列型フィールドのコンテンツを、末尾から逆方向に置換します。	tail_replace_string_field(search, replace, all)	search: 置換される文字列 replace: 置換後の文字列 all: すべての出現箇所を置換するかどうかを指定します。値は true または false です。	置換後の文字列	すべての文字列型フィールドの値で "\u000f" をスペースに置き換えます。 tail_replace_string_field('\u000f','',true)
  MongoDB のフィールドの値を取得します	bson_value("field1","field2","field3",...)	field1: レベル 1 フィールドの名前。 field2: レベル 2 フィールドの名前。	ドキュメント内の対応するフィールドの値	e_set(`user_id`, bson_value("id")) e_set(`user_name`, bson_value("person","name"))

グローバル関数

• フロー制御関数

  機能	構文	パラメーターの説明	例
  if 文	e_if(bool_expr, func_invoke)	bool_expr: ブール値の定数または関数の呼び出し。定数: true または false。関数の呼び出し: op_gt(`id`, 10)。 func_invoke: 関数の呼び出し。e_drop,e_keep,e_set,e_if,e_compose	e_if(op_gt(`id`, 10), e_drop())。ID が 10 より大きい場合、レコードを破棄します。
  if else 文	e_if_else(bool_expr, func_invoke1, func_invoke2)	bool_expr: ブール値の定数または関数の呼び出し。定数: true または false。関数の呼び出し: op_gt(`id`, 10)。 func_invoke1: 関数の呼び出し。条件が true の場合に実行されます。 func_invoke2: 関数の呼び出し。条件が false の場合に実行されます。	e_if_else(op_gt(`id`, 10), e_set(`tag`, 'large'), e_set(`tag`, 'small'))。ID が 10 より大きい場合、tag 列を "large" に設定します。それ以外の場合は、"small" に設定します。
  複数の条件を評価する switch のような文。最初の一致する条件の操作を実行します。どの条件にも一致しない場合は、デフォルトの操作を実行します。	s_switch(condition1, func1, condition2, func2, ..., default = default_func)	condition1: ブール値の定数または関数の呼び出し。定数: true または false。関数の呼び出し: op_gt(`id`, 10)。 func_invoke: 関数の呼び出し。condition1 が true の場合、この関数が実行され、switch 文が終了します。condition1 が false の場合、チェックは次の条件に進みます。 default_func: 関数の呼び出し。前のすべての条件が false の場合にこの関数が実行されます。	e_switch(op_gt(`id`, 100), e_set(`str_col`, '>100'), op_gt(`id`, 90), e_set(`str_col`, '>90'), default=e_set(`str_col`, '<=90'))。
  複数の操作を組み合わせる	e_compose(func1, func2, func3, ...)	func1: 関数の呼び出し。e_set、e_drop、または e_if を指定できます。 func2: 関数の呼び出し。e_set、e_drop、または e_if を指定できます。	e_compose(e_set(`str_col`, 'test'), e_set(`dt_col`, dt_now()))。str_col 列の値を test に設定し、dt_col 列の値を現在の時刻に設定します。

• データ操作関数

  機能	構文	パラメーターの説明	例
  このデータレコードを破棄し、同期しません	e_drop()	なし	e_if(op_gt(`id`, 10), e_drop())。ID が 10 より大きいレコードを破棄します。
  このデータレコードを保持し、ターゲットに同期します	e_keep(condition)	condition: ブール式	e_keep(op_gt(id, 1))。ID が 1 より大きいデータのみを同期します。
  列の値を設定します	e_set(`col`, val, NEW)	col: 列名 val: 定数または関数の呼び出し。型は col の型と一致する必要があります。 NEW: col 列のデータ型を val のデータ型に変換します。これはオプションのフィールドです。 重要 NEW を渡さない場合は、その前のコンマ (,) を渡さないでください。また、データ型の互換性を確認してください。そうしないと、タスクでエラーが報告される可能性があります。	e_set(`dt_col`, dt_now())。dt_col を現在の時刻に設定します。 e_set(`col1`, `col2` + 1)。col1 を col2+1 に設定します。 e_set(`col1`, 1, NEW)。col1 列を数値型に変換し、その値を 1 に設定します。
  MongoDB の機能で、フィールドの保持、フィールドの破棄、フィールド名のマッピングを行います	e_expand_bson_value('*', 'fieldA'，{"fieldB":"fieldC"})	*: 保持するフィールドの名前。アスタリスク (*) はすべてのフィールドを示します。 fieldA: 破棄するフィールドの名前。 {"fieldB":"fieldC"}: フィールド名のマッピング。fieldB はソースフィールド名、fieldC はターゲットフィールド名です。 説明 フィールド名のマッピングはオプションの式です。	e_expand_bson_value("*", "_id,name")。_id と name フィールドを除くすべてのフィールドをターゲットに書き込みます。