DataWorks:MySQL データソース

パラメーター

説明

必須

デフォルト値

datasource

データソースの名前。追加されたデータソースの名前と同じである必要があります。コードエディターを使用してデータソースを追加できます。

はい

デフォルト値なし

table

データを読み取るテーブルの名前。各同期タスクは、1 つのテーブルからのデータの同期にのみ使用できます。

はい

デフォルト値なし

column

データを読み取る列の名前。JSON 配列で名前を指定します。デフォルト値は [*] で、ソーステーブルのすべての列を示します。

• 読み取る特定の列を選択できます。

• 列の順序を変更できます。これは、ソーステーブルのスキーマで指定された順序とは異なる順序で列を指定できることを示します。

• 定数がサポートされています。列名は、["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3","true"] など、MySQL でサポートされている SQL 構文に準拠して配置する必要があります。

  • id: 列名。

  • table: 予約キーワードを含む列の名前。

  • 1: 整数定数。

  • 'mingya.wmy': 文字列定数。単一引用符 (') で囲みます。

  • null:

    • " " は空の文字列を示します。

    • null は null 値を示します。

    • 'null' は文字列 null を示します。

  • to_char(a+1): 文字列の長さを計算するために使用される関数式。

  • 2.3: 浮動小数点定数。

  • true: ブール値。

• column パラメーターは、データを読み取るすべての列を明示的に指定する必要があります。このパラメーターを空にすることはできません。

はい

デフォルト値なし

splitPk

MySQL Reader がデータを読み取るときに データシャーディング に使用される フィールド。このパラメーターを指定すると、ソーステーブルはこのパラメーターの値に基づいてシャーディングされます。Data Integration は、並列スレッドを実行してデータを読み取ります。これにより、データの同期をより効率的に行うことができます。

• splitPk パラメーターをテーブルのプライマリキー列の名前に設定することをお勧めします。プライマリキー列に基づいてデータを異なるシャードに均等に分散させることができ、特定のシャードにのみ集中的に分散されるのを防ぐことができます。

• splitPk パラメーターは、整数データ型のデータのみのシャーディングをサポートしています。 splitPk パラメーターを、文字列、浮動小数点、日付データ型などのサポートされていないデータ型のフィールドに設定すると、このパラメーターの設定は無視され、単一スレッドを使用してデータが読み取られます。

• splitPk パラメーターが指定されていないか空の場合、単一スレッドを使用してデータが読み取られます。

いいえ

デフォルト値なし

where

WHERE 句。たとえば、このパラメーターを gmt_create>$bizdate に設定して、現在の日付に生成されたデータを読み取ることができます。

• WHERE 句を使用して増分データを読み取ることができます。 where パラメーターが指定されていないか空の場合、MySQL Reader はすべてのデータを読み取ります。

• where パラメーターを limit 10 に設定しないでください。この値は、SQL WHERE 句に対する MySQL の制約に準拠していません。

いいえ

デフォルト値なし

querySql (高度なパラメーター。コードエディターでのみ使用可能)

絞り込んだデータフィルタリングに使用する SQL 文。このパラメーターを設定すると、データはこのパラメーターの値のみに基づいてフィルタリングされます。たとえば、複数のテーブルを結合してデータ同期を行う場合は、このパラメーターを select a,b from table_a join table_b on table_a.id = table_b.id に設定します。 querySql パラメーターの優先度は、table、column、where、splitPk パラメーターの優先度よりも高くなります。 querySql パラメーターを設定すると、MySQL Reader は table、column、where、splitPk パラメーターの設定を無視します。システムは、datasource パラメーターで指定されたデータソースのユーザー名やパスワードなどの情報を querySql パラメーターから解析します。

いいえ

デフォルト値なし

useSpecialSecret

複数のデータソースからデータを同期する場合に、各データソースのアクセスパスワードを使用するかどうかを指定します。有効な値：

• true

• false

複数のデータソースを追加し、データソースへのアクセスに使用するユーザー名とパスワードが異なる場合は、このパラメーターを true に設定して、対応するデータソースへのアクセスにユーザー名とパスワードを個別に使用できます。

いいえ

false

パラメーター

説明

必須

デフォルト値

datasource

データソースの名前。追加されたデータソースの名前と同じである必要があります。コードエディタを使用してデータソースを追加できます。

はい

デフォルト値なし

table

データを書き込むテーブルの名前。

はい

デフォルト値なし

writeMode

書き込みモード。 insert into、on duplicate key update、replace into の各モードがサポートされています。

• insert into: プライマリキーの競合または一意なインデックスの競合が発生した場合、競合する行にデータを書き込むことができず、これらの行に書き込まれなかったデータはダーティデータと見なされます。

  コードエディタを使用して同期タスクを設定する場合は、writeMode を insert に設定します。

• on duplicate key update: プライマリキーの競合または一意なインデックスの競合が発生しない場合、データはこのパラメーターを insert に設定した場合と同じ方法で処理されます。競合が発生した場合、元の行の指定されたフィールドが新しい行に置き換えられ、データが MySQL に書き込まれます。

  コードエディタを使用して同期タスクを設定する場合は、writeMode を update に設定します。

• replace into: プライマリキーの競合または一意なインデックスの競合が発生しない場合、データはこのパラメーターを insert に設定した場合と同じ方法で処理されます。競合が発生した場合、元の行が削除され、新しい行が挿入されます。これは、元の行のすべてのフィールドが置き換えられることを示します。

  コードエディタを使用して同期タスクを設定する場合は、writeMode を replace に設定します。

いいえ

insert

nullMode

NULL 値を処理するためのポリシー。有効な値:

• writeNull: ソースの列の値が NULL の場合、NULL 値がデスティネーションの対応する列に書き込まれます。

• skipNull: ソースの列の値が NULL の場合、NULL 値はデスティネーションの対応する列に書き込まれません。デスティネーションの列にデフォルト値が指定されている場合は、デフォルト値が使用されます。デフォルト値が指定されていない場合は、NULL が使用されます。 nullMode パラメーターを skipNull に設定する場合は、skipNullColumn パラメーターも設定する必要があります。

いいえ

writeNull

skipNullColumn

NULL 値をスキップする必要がある列を指定します。 nullMode パラメーターを skipNull に設定すると、NULL 値はこのパラメーターで指定された列に強制的に書き込まれません。列に指定されたデフォルト値が優先的に使用されます。

このパラメーターは、["c1","c2",...] の形式で設定します。 c1 と c2 は、column パラメーターで指定された列のサブセットに置き換える必要があります。

いいえ

タスクに設定されているすべての列

column

データを書き込む列の名前。 "column":["id","name","age"] のように、名前をコンマ (,) で区切ります。デスティネーションテーブルのすべての列にデータを書き込む場合は、"column":["*"] のように、このパラメーターをアスタリスク (*) に設定します。

はい

デフォルト値なし

preSql

同期タスクが実行される前に実行する SQL 文。コードレス UI では 1 つの SQL 文のみを実行でき、コードエディタでは複数の SQL 文を実行できます。たとえば、同期タスクが実行される前に、TRUNCATE TABLE tablename 文を実行して古いデータを削除できます。

いいえ

デフォルト値なし

postSql

同期タスクが実行された後に実行する SQL 文。コードレス UI では 1 つの SQL 文のみを実行でき、コードエディタでは複数の SQL 文を実行できます。たとえば、同期タスクが実行された後に、ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP 文を実行してタイムスタンプを追加できます。

いいえ

デフォルト値なし

batchSize

一度に書き込むデータレコードの数。ビジネス要件に基づいて、このパラメーターを適切な値に設定します。これにより、Data Integration と MySQL の間の相互作用が大幅に削減され、スループットが向上します。このパラメーターを過度に大きな値に設定すると、データ同期の際にメモリ不足 (OOM) エラーが発生する可能性があります。

いいえ

256

updateColumn

プライマリキーの競合または一意なインデックスの競合が発生した場合に更新される列の名前。このパラメーターは、writeMode パラメーターが on duplicate key update に設定されている場合にのみ有効になります。複数の列名はコンマ (,) で区切ります。例: "updateColumn":["name","age"]。

いいえ

デフォルト値なし