コードエディタでは、データ同期用の JSON スクリプトを作成し、DataWorks スケジューリングパラメーターを使用して、単一のソーステーブルまたはシャードテーブルから宛先テーブルにフルデータまたは増分データを定期的に同期できます。設定はデータソースによって異なります。詳細については、「データソースのリスト」をご参照ください。
注意事項
以下のシナリオでコードエディターを使用します。
データソースがウィザードモードでの設定をサポートしていない場合。
説明ユーザーインターフェイスには、データソースがウィザードモードをサポートしているかどうかが表示されます。
たとえば、宛先データソースとして HBase11xsql を選択すると、ネットワークとリソースの設定ページに黄色の警告メッセージが表示されます:「The current data source type does not support task editing in wizard mode. The task will be configured in script mode.」 この場合、ツールバーの [コードエディター] ボタンをクリックしてモードを切り替え、タスクを設定します。
一部のデータソースの設定パラメーターは、コードエディターでのみ利用可能です。
コードエディターを使用すると、DataWorks で直接作成できない一部のデータソースを設定できます。
前提条件
必要なソースと宛先のデータソースが DataWorks で設定されていることを確認してください。詳細については、「データソースのリスト」をご参照ください。
説明バッチ同期でサポートされているデータソースとその設定の詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。
データソースの機能の詳細については、「データソースの設定」をご参照ください。
-
適切な仕様のリソースグループを購入し、ワークスペースに関連付けます。詳細については、「サーバーレス リソースグループを使用する」をご参照ください。
-
リソースグループとデータソース間のネットワーク接続を設定します。詳細については、「ネットワーク接続を設定する」をご参照ください。
ステップ 1: バッチ同期ノードの作成
DataStudio (新バージョン)
-
DataWorks コンソールにログインします。 左側のナビゲーションペインで、を選択します。 ドロップダウンリストから目的のワークスペースを選択し、<p><a href={url} target="_blank">LogHub エンドポイント</a> に移動します</p>[Data Studio] をクリックします。
-
ワークフローを作成します。詳細については、「ワークフロー」をご参照ください。
-
次のいずれかの方法でデータ統合ノードを作成します。
-
方法 1: ワークフローリストの右上隅にある
をクリックし、 を選択します。 -
方法 2: ワークフロー名をダブルクリックし、Data Integration ディレクトリから Data Integration ノードを右側のワークフロー編集パネルにドラッグします。
-
-
ノードのソースタイプとデスティネーションタイプを設定し、特定のタイプとして単一テーブルのオフラインを選択し、確認 をクリックして作成を完了します。
レガシー DataStudio
-
DataWorks コンソールにログインします。 左側のナビゲーションペインで、 を選択します。 ドロップダウンリストから目的のワークスペースを選択し、データ開発を開始 をクリックします。
-
ワークフローを作成します。詳細については、「ワークフローを作成する」をご参照ください。
-
次のいずれかの方法でバッチ同期ノードを作成します。
-
方法 1: ワークフローを展開し、を右クリックします。
-
方法 2: ワークフロー名をダブルクリックし、Data Integration ディレクトリから オフライン同期 ノードを右側のワークフロー編集パネルにドラッグします。
-
-
画面の指示に従って、バッチ同期ノードを作成します。
ステップ 2: データソースとリソースグループの設定
どのステップでもウィザードモードからスクリプトモードに切り替えることができます。完全なスクリプト設定を行うには、次のアプローチを推奨します。
まず、ウィザードを使用してデータソースとリソースグループを選択し、ネットワーク接続をテストします。
その後、スクリプトモードに切り替えます。
システムは、生成された JSON スクリプトに、データソース、テーブル、フィールドマッピングなどの情報を自動的に入力します。
または、直接切り替えてからスクリプトモードで、JSON コードでデータソースを指定し、右側の [詳細設定] パネルでリソースグループと必要なリソースサイズを設定することで、手動で構成することもできます。
リソースグループを作成したにもかかわらずここに表示されない場合は、リソースグループがワークスペースに関連付けられているかどうかを確認してください。詳細については、「Data Integration の専用リソースグループの作成と管理」および「サーバーレスリソースグループの作成と管理」をご参照ください。
推奨されるリソースクォータの設定については、「リソースグループのパフォーマンスメトリック - Data Integration」をご参照ください。
ステップ 3: スクリプトモードへの切り替えとテンプレートのインポート
ツールバーの [スクリプトに変換] アイコン
をクリックします。
スクリプトがまだ設定されていない場合は、ツールバーの
アイコンをクリックして、画面の指示に従ってスクリプトテンプレートを迅速にインポートできます。
ステップ 4: スクリプトを編集して同期タスクを設定
一般的なスクリプトモードの設定:
type フィールドと version フィールドはデフォルト値であり、変更できません。
スクリプト内の Processor 関連の設定は無視できます (設定は不要です)。
{
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "plugin_name",
"parameter": {},
"name": "Reader",
"category": "reader"
},
{
"stepType": "plugin_name",
"parameter": {},
"name": "Writer",
"category": "writer"
}
],
"setting": {
"executeMode": null,
"errorLimit": {
"record": ""
},
"speed": {
"concurrent": 2,
"throttle": false
},
"timeZone": "Asia/Shanghai"
},
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
}Reader と Writer の基本情報と列マッピングを設定します。
重要設定はプラグインによって異なります。以下の内容は、一般的な設定例のみを説明しています。特定のプラグインが設定をサポートしているか、またその実装方法は、プラグインによって異なります。詳細については、データソースのリストにある各データソースの [Reader スクリプトデモ] と [Writer スクリプトデモ] をご参照ください。
これらのパラメーターを設定することで、以下を実行できます。
Reader
設定
説明
where (同期範囲の設定)
一部のソースタイプはデータフィルタリングをサポートしています。条件 (
WHERE句ですが、where キーワードを含める必要はありません) を指定して、ソースデータをフィルタリングできます。タスク実行中、条件を満たすデータのみが同期されます。詳細については、「フィルター条件の設定」をご参照ください。増分同期を実装するには、フィルター条件とスケジューリングパラメーターを組み合わせて動的に設定できます。たとえば、
gmt_create >= '${bizdate}'を使用すると、タスクは毎日新しく追加されたデータのみを同期します。また、スケジュールを設定する際に、ここで定義された変数に値を割り当てる必要があります。詳細については、「スケジューリングパラメーターの設定」をご参照ください。増分同期の設定方法は、データソース (プラグイン) によって異なります。
データフィルター条件が設定されていない場合、デフォルトでテーブルの完全データが同期されます。
splitPk (リレーショナルデータベースの分割キーの設定)
ソースデータを並列読み取り用に分割するための列を指定します。タスク実行中、データはこの列に基づいて複数のタスクに分割され、バッチ読み取りが同時実行されます。
主キーは一般的に均等に分散されており、データホットスポットを防ぐのに役立つため、splitPk の値として主キーを使用することを推奨します。
現在、splitPk は整数ベースの分割のみをサポートしています。文字列、浮動小数点数、日付などの他の型はサポートされていません。サポートされていない型を指定した場合、splitPk 機能は無視され、データは単一チャネルで同期されます。
splitPk が指定されていない場合 (splitPk パラメーターが提供されていないか、空のままの場合を含む)、データは単一チャネルで同期されます。
すべてのプラグインが分割キーの設定をサポートしているわけではありません。上記の情報は一例です。詳細については、特定のプラグインのドキュメントをご参照ください。詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。
column (ソース列の定義)
column 配列でソースから同期する列を定義します。また、'123'、'${variable_name}'、'now()' のように、定数、変数、関数をカスタム列として宛先に書き込むこともできます。
Writer
設定
説明
preSql と postSql (同期前後の SQL ステートメントの設定)
一部のデータソースでは、同期前 (書き込み前) と同期後 (書き込み後) に宛先で SQL ステートメントを実行することをサポートしています。
例: MySQL Writer は preSql および postSql の設定をサポートしており、MySQL へのデータ書き込みの前後で MySQL コマンドを実行できます。 たとえば、MySQL Writer の [インポート前の準備ステートメント] (preSql) 設定で MySQL の truncate table コマンド
truncate table tablenameを設定することで、同期 (MySQL へのデータ書き込み) 前にテーブルから古いデータをクリアできます。writeMode (競合時の書き込みモードの定義)
パスや主キーの競合など、競合が発生した場合の書き込みモードを指定します。これはデータソースと Writer プラグインによって異なります。詳細については、特定の Writer プラグインのドキュメントをご参照ください。
チャネル制御。
setting セクションで、同時実行数、同期速度、ダーティデータの処理などの効率設定を構成できます。
パラメーター
説明
executeMode (分散処理)
分散モードを有効にするかどうかを制御します。
distribute: 分散処理を有効にします。タスクは複数の実行ノードに分散されたスライスに分割され、同時実行されます。これにより、同期速度は単一ノードの制限を超えて、クラスターサイズとともに水平にスケールできます。
null: 分散処理を無効にします。設定された同時実行数は、単一ノード上のプロセスレベルの同時実行数にのみ適用され、複数ノードでのコンピューティングは利用できません。
重要Data Integration の専用リソースグループにノードが 1 つしかない場合、複数ノードのリソースを活用できないため、分散モードは推奨されません。
単一ノードで速度要件を満たせる場合は、シンプルさのために単一ノードモードを推奨します。
分散処理を有効にするには、同時実行数が 8 以上である必要があります。
一部のデータソースは、タスク実行のための分散モードをサポートしています。詳細については、特定のプラグインのドキュメントをご参照ください。
分散処理を有効にすると、より多くのリソースが消費されます。実行中にメモリ不足 (OOM) エラーが発生した場合は、このオプションを無効にしてみてください。
concurrent (期待される最大同時実行数)
ソースからの並列読み取り、または宛先への書き込みのための最大スレッド数を定義します。
説明リソースの仕様などの要因により、実際の同時実行数は設定値以下になる場合があります。デバッグリソースグループは、実際の同時実行数に基づいて課金されます。詳細については、「課金」をご参照ください。
throttle (同期速度)
同期速度を制御します。
true: スロットリングを有効にします。これにより、抽出速度に上限を設けることで、ソースデータベースを過負荷から保護します。最小スロットリングレートは 1 MB/s です。
説明throttle を true に設定した場合、mbps (同期速度) パラメーターも設定する必要があります。
false: スロットリングを無効にします。タスクは、設定された同時実行数の制限内で、ハードウェア環境で可能な最大の転送パフォーマンスを提供します。
説明スループットメトリックは Data Integration の内部測定値であり、実際の NIC トラフィックを表すものではありません。通常、NIC トラフィックはチャネルトラフィックの 1〜2 倍です。実際の比率は、データストレージシステムのシリアル化メカニズムに依存します。
errorLimit (エラー数の制御)
ダーティデータのしきい値と、それがタスクに与える影響を定義します。
重要過剰なダーティデータは、タスク全体の同期速度に影響を与える可能性があります。
設定しない場合、デフォルトでダーティデータは許可され、タスクの実行に影響しません。
0 に設定した場合、ダーティデータは許可されません。同期中にダーティデータが生成されると、タスクは失敗します。
ダーティデータが許可され、しきい値が設定されている場合:
ダーティデータがしきい値内である場合、同期タスクはダーティデータを無視し (宛先に書き込まない)、正常に続行します。
ダーティデータがしきい値を超えた場合、同期タスクは失敗します。
説明ダーティデータの基準:ダーティデータとは、ビジネス上の意味を持たない、形式が無効である、または同期中に問題が発生したデータのことです。レコードを宛先に書き込む際に例外が発生した場合、そのレコードはダーティデータと見なされます。
たとえば、ソースから VARCHAR データを宛先の INT 列に書き込むと、無効な型変換によりダーティデータが発生します。同期タスクの設定中にダーティデータを許可するかどうかを制御し、ダーティデータ数が指定された制限を超えたときにタスクが失敗するように最大エラー数を設定できます。
timeZone (タイムゾーンの設定)
同期タスクのタイムゾーンを指定します。この設定は、ソースまたは宛先で時間型の列が変換されるときに有効になります。Data Integration は、指定されたタイムゾーンに基づいて時間列の読み書きを行います。
設定例:
"timeZone":"Asia/Shanghai"。このパラメーターは、スクリプトモードの setting セクションでのみ設定できます。ウィザードモード (コードレス UI) の宛先では、タイムゾーン設定はサポートされていません。
タイムゾーンの値は、
Asia/ShanghaiやAmerica/New_Yorkなどの標準 IANA タイムゾーン形式を使用します。設定されていない場合、Data Integration はシステムのデフォルトタイムゾーンを使用します。
説明全体の同期速度は、ソースデータソースのパフォーマンス、ネットワーク環境、その他の要因にも影響されます。詳細については、「バッチ同期タスクのチューニング」をご参照ください。
ステップ 5: スケジューリングの設定
定期的にスケジュールされる単一テーブルバッチ同期タスクでは、自動スケジューリングのプロパティを設定する必要があります。ノードの編集ページに移動し、右側の スケジューリング設定 をクリックして、ノードのスケジュール設定を行います。
同期タスクのスケジューリングパラメーター、スケジューリングポリシー、スケジューリング時間、依存関係を設定します。設定方法は、他のデータ開発ノードと同じです。
-
Data Studio の新バージョンでのスケジュール設定については、「ノードスケジューリング (新バージョン)」をご参照ください。
-
レガシー Data Studio でのスケジュール設定については、「ノードスケジューリング (レガシー)」をご参照ください。
スケジューリングパラメーターの使用に関する詳細については、「Data Integration におけるスケジューリングパラメーターの一般的なシナリオ」をご参照ください。
ステップ 6: タスクの送信とデプロイ
-
実行パラメーターを設定します。
単一テーブルバッチ同期タスク設定ページの右側で、デバッグの構成 をクリックし、テスト実行用に次のパラメーターを設定します。
設定項目
説明
リソースグループ
データソースにネットワーク接続できるリソースグループを選択します。
スクリプト パラメーター
データ同期タスク内のプレースホルダーパラメーターに値を割り当てます。たとえば、Data Integration タスクが
${bizdate}パラメーターを使用している場合、yyyymmdd形式の日付パラメーターを設定します。 -
タスクを実行します。
ツールバーの
実行ボタンをクリックして、Data Studio でタスクを実行してデバッグします。その後、対応する宛先テーブルタイプのノードを作成して宛先テーブルのデータをクエリし、同期されたデータが期待どおりかを確認できます。 -
タスクをデプロイします。
タスクがテスト実行に合格した後、タスクを定期的に実行する必要がある場合は、ノード編集ページの上部にある
ボタンをクリックして、タスクを本番環境にデプロイします。詳細については、「タスクのデプロイ」をご参照ください。
次のステップ
タスクをデプロイした後、本番環境のオペレーションセンターに移動して、スケジュールされたタスクを表示します。Data Integration タスクの実行、管理、モニタリングの詳細については、「Data Integration タスクの運用保守」をご参照ください。