DataWorks の Data Integration は、オフラインバッチ同期の同期元およびターゲットとして DM (Dameng) をサポートしています。DM Reader を使用して DM データベースからデータを抽出し、DM Writer を使用してデータを書き込みます。
機能
機能 | DM Reader | DM Writer |
オフライン (バッチ) 同期 | はい | はい |
ビューからの読み取り | はい | — |
列のプルーニング | はい | — |
列の並べ替え | はい | — |
並列読み取り ( | はい (整数列のみ) | — |
増分同期 ( | はい | — |
SQL 文の事前実行 | はい | はい |
SQL 文の事後実行 | — | はい |
サーバーレスリソースグループ | はい | はい |
データ統合専用リソースグループ | はい | はい |
サポートされているデータ型
DM Reader と DM Writer は、一般的なリレーショナルデータベースのほとんどのデータ型をサポートしています。次の表に、DM Reader が変換できる DM データ型を示します。サポートされていないデータ型を使用すると、読み取りエラーが発生します。同期タスクを設定する前に、スキーマを確認してください。
カテゴリ | DM データ型 |
整数 | INT, TINYINT, SMALLINT, BIGINT |
浮動小数点 | REAL, FLOAT, DOUBLE, NUMBER, DECIMAL |
文字列 | CHAR, VARCHAR, LONGVARCHAR, TEXT |
日付と時刻 | DATE, DATETIME, TIMESTAMP, TIME |
ブール値 | BIT |
バイナリ | BINARY, VARBINARY, BLOB |
同期タスクの設定
単一テーブルのオフライン同期
コード不要の UI またはコードエディターのいずれかを使用してタスクを設定します:
コード不要の UI: コード不要の UI でタスクを設定する
コードエディター: コードエディターでタスクを設定する
完全なスクリプトのリファレンスとパラメーターの説明については、「スクリプトリファレンス」をご参照ください。
データベース全体のオフライン同期
「バッチデータベース同期の設定」をご参照ください。
スクリプトリファレンス
コードエディターでバッチ同期タスクを設定する場合は、統一されたスクリプト形式を使用します。以下のセクションでは、Reader と Writer の DM 固有のパラメーターについて説明します。
Reader
スクリプト例
{
"type": "job",
"version": "2.0",
"order": {
"hops": [
{ "from": "Reader", "to": "Writer" }
]
},
"setting": {
"errorLimit": { "record": "0" },
"speed": {
"throttle": true,
"concurrent": 1,
"mbps": "12"
}
},
"steps": [
{
"category": "reader",
"name": "Reader",
"stepType": "dm",
"parameter": {
"datasource": "dm_datasource",
"table": "table",
"column": ["*"],
"preSql": ["delete from XXX;"],
"fetchSize": 2048
}
},
{
"category": "writer",
"name": "Writer",
"stepType": "stream",
"parameter": {}
}
]
}Reader のパラメーター
パラメーター | 必須 | デフォルト | 説明 |
| はい | — | DM データソースの名前。「DM データソースの設定」をご参照ください。 |
| はい | — | 読み取り対象のテーブル。 |
| はい | — | 同期する列を JSON 配列として指定します。すべての列を対象とするには |
| いいえ | 空 | 並列読み取りのためにデータを分割するために使用する列。このパラメーターをプライマリキーに設定すると、データが均等に分散され、データホットスポットを回避できます。整数型の列のみがサポートされています。浮動小数点、文字列、日付、およびその他の型を指定するとエラーが発生します。設定しない場合、テーブルは単一チャネルで読み取られます。 |
| いいえ | — | クエリに追加する SQL フィルター条件。例:増分同期の場合は |
| いいえ | — | カスタム SQL クエリ。例: |
| いいえ | 1,024 | バッチごとにフェッチされる行数。値を大きくすると、ネットワークラウンドトリップが減少し、スループットが向上します。2,048 を超える値は、メモリ不足 (OOM) エラーを引き起こす可能性があります。 |
| いいえ | — | 同期タスクが開始される前に実行される SQL 文。1 つの文のみがサポートされています。 |
Writer
スクリプト例
{
"type": "job",
"version": "2.0",
"order": {
"hops": [
{ "from": "Reader", "to": "Writer" }
]
},
"setting": {
"errorLimit": { "record": "" },
"speed": {
"throttle": true,
"concurrent": 2,
"mbps": "12"
}
},
"steps": [
{
"category": "reader",
"name": "Reader",
"stepType": "oracle",
"parameter": {
"datasource": "aaa",
"column": ["PROD_ID", "name"],
"where": "",
"splitPk": "",
"encoding": "UTF-8",
"table": "PENGXI.SALES"
}
},
{
"category": "writer",
"name": "Writer",
"stepType": "dm",
"parameter": {
"datasource": "dm_datasource",
"table": "table",
"column": ["id", "name"],
"preSql": ["delete from XXX;"]
}
}
]
}Writer のパラメーター
パラメーター | 必須 | デフォルト | 説明 |
| はい | — | DM データソースの名前。「DM データソースの設定」をご参照ください。 |
| はい | — | ターゲットテーブル。テーブルのスキーマがデータソース設定のユーザー名と異なる場合は、 |
| はい | — | 書き込み先のターゲット列をコンマで区切って指定します。デフォルトの列設定は使用しないでください。 |
| いいえ | — | 同期タスクが開始される前に実行される SQL 文。例えば、古いデータをパージする場合などです。1 つの文のみがサポートされています。複数の文を使用すると、トランザクションはサポートされなくなります。 |
| いいえ | — | 同期タスクの完了後に実行される SQL 文。例えば、タイムスタンプを追加する場合などです。1 つの文のみがサポートされています。複数の文を使用すると、トランザクションはサポートされなくなります。 |
| いいえ | 1,024 | バッチごとに書き込まれる行数。値を大きくすると、ネットワークとのやり取りが減り、スループットが向上します。値が大きすぎると、メモリ不足 (OOM) エラーを引き起こす可能性があります。 |