DB2 データソースは、オフラインデータ同期のために DataWorks を IBM DB2 データベースに接続するものです。バッチ同期タスクで DB2 からの読み取りと DB2 への書き込みに使用できます。
サポートされるバージョン
DB2 リーダー/ライターは IBM Data Server Driver for JDBC and SQLJ 4.11.77 を使用します。DB2 ドライバーとデータベースサービスのバージョンの対応関係については、公式ドキュメントをご参照ください。
サポートされる機能
機能 | サポート |
オフライン読み取り (完全同期) | はい |
オフライン書き込み (完全同期) | はい |
ビューからの読み取り | はい |
増分同期 | はい ( |
AES 暗号化 | いいえ |
サーバーレスリソースグループ | はい |
Data Integration 専用リソースグループ | はい |
パブリックリソースグループ | いいえ |
カスタムリソースグループ | いいえ |
サポートされるフィールドタイプ
DB2 リーダー/ライターは、オフラインの読み取り/書き込み操作で次の DB2 データ型をサポートします。データ同期タスクを構成する前に、データ型を確認してください。
型カテゴリ | DB2 データ型 |
整数型 | SMALLINT |
浮動小数点型 | DECIMAL、REAL、DOUBLE |
文字列型 | CHAR、CHARACTER、VARCHAR、GRAPHIC、VARGRAPHIC、LONG VARCHAR、CLOB、LONG VARGRAPHIC、DBCLOB |
日付/時刻型 | DATE、TIME、TIMESTAMP |
ブール型 | なし |
バイナリ型 | BLOB |
制限事項
リソースグループ: DB2 リーダー/ライターは サーバーレスリソースグループ と Data Integration 専用リソースグループ をサポートします。パブリックリソースグループ と カスタムリソースグループ はサポートされません。
書き込み動作: DB2 ライターは
insert intoステートメントを使用してデータを書き込みます。主キーまたは一意のインデックスの競合が発生した場合、競合した行は書き込まれません。パフォーマンス向上のため、DB2 ライターはPreparedStatement + BatchとrewriteBatchedStatements=trueを使用し、スレッドコンテキストバッファにデータをバッファリングして、バッファが設定されたしきい値に達した時点で書き込みリクエストを送信します。データ同期タスクには、少なくとも
insert into権限が必要です。preSqlおよびpostSqlパラメーターで設定する SQL ステートメントに応じて、追加の権限が必要になる場合があります。暗号化: DB2 AES 暗号化アルゴリズムはサポートされません。
データソースの追加
データ同期タスクを開発する前に、DB2 データソースを DataWorks に追加します。手順については、データソース管理をご参照ください。データソースを追加する際、各パラメーターの説明は DataWorks コンソールに表示されます。
データ同期タスクの開発
単一テーブルのオフライン同期タスク
構成手順については、コードレス UI でタスクを構成するおよびコードエディタでタスクを構成するをご参照ください。
すべてのパラメーターとスクリプトについては、付録:スクリプトのデモとパラメーターの説明をご参照ください。
データベース全体のオフライン同期タスク
構成手順については、バッチデータベース同期の構成をご参照ください。
よくある質問
アクティブ/スタンバイ同期中にスタンバイデータベースのデータが欠落する可能性があるのはなぜですか?
アクティブ/スタンバイの災害復旧構成では、スタンバイデータベースは binlog を介してプライマリデータベースからの変更を継続的に適用します。この処理には本質的にタイムラグがあり、ネットワーク遅延によってさらに悪化する可能性があります。その結果、スタンバイデータベースはプライマリデータベースをリアルタイムに反映できず、両者の間で大きなデータ差分が生じる可能性があります。
DB2 リーダーは、同時抽出中のデータ整合性を保証しますか?
DB2 は、強い整合性を持つクエリインターフェイスを備えたリレーショナルデータベース管理システム (RDBMS) です。シングルスレッドモードでは、DB2 リーダーは一貫性のあるスナップショットを読み取ります。タスクの実行中に別のソースがデータを書き込んだ場合でも、DB2 リーダーはそれらの更新を取得しません。
splitPk パラメーターを使用して同時抽出を構成すると、DB2 リーダーは同一の読み取りトランザクションに属さず、異なるタイミングで実行される複数のタスクを起動します。この場合、同時タスクが読み取るスナップショットは不完全または不整合になる可能性があります。次の 2 つの回避策を利用できます:
シングルスレッドの同期 (データパーティショニングなし) を使用します。これによりデータ整合性は維持されますが、同期速度は低下します。
同期中はソースへの書き込みを無効にします。たとえば、テーブルをロックするか、スタンバイデータベースへのレプリケーションを一時停止します。これによりソースデータを静的に保ちますが、オンラインサービスに影響する可能性があります。
DB2 リーダーではエンコーディングを構成する必要がありますか?
いいえ。DB2 リーダーは Java Database Connectivity (JDBC) を使用してデータを抽出します。JDBC は下位レイヤーでエンコーディング変換を処理するため、DB2 リーダーはエンコーディングを自動的に検出してトランスコードします。
増分データ同期はどのように設定しますか?
DB2 リーダーは JDBC の SELECT ステートメントを使用してデータを抽出します。そのため、SELECT...WHERE... を使用して、次の 2 つの方法で増分抽出を行えます:
ソースアプリケーションがデータ変更時にタイムスタンプフィールド (たとえば
modify列) を設定する場合、前回の同期実行時のタイムスタンプを使用してwhere句を設定します。これにより、新規、更新、および論理削除された行を取り込めます。追記専用データの場合、前回の同期実行時の最大自動増分 ID を使用して
where句を設定します。
新規データと既存データを区別できるフィールドがない場合は、完全同期のみ可能です。
querySql パラメーターは SQL インジェクションに対して安全ですか?
DB2 リーダーは querySql ステートメントに対してセキュリティチェックを実行しません。このパラメーターを設定する前に、カスタム SQL を確認して検証してください。
付録:スクリプトのデモとパラメーターの説明
コードエディタでバッチ同期タスクを構成する際は、次のスクリプトとパラメーターリファレンスを使用します。一般的な手順については、コードエディタでタスクを構成するをご参照ください。
Reader スクリプトのデモ
{
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "db2",
"parameter": {
"datasource": "",
"jdbcUrl": "",
"username": "",
"password": "",
"table": "",
"column": [
"id"
],
"where": "",
"splitPk": ""
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "stream",
"parameter": {},
"name": "Writer",
"category": "writer"
}
],
"setting": {
"errorLimit": {
"record": "0"
},
"speed": {
"throttle": true,
"concurrent": 1,
"mbps": "12"
}
},
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
}Reader パラメーター
パラメーター | 説明 | 必須 | 既定値 |
| DataWorks で設定したデータソースの名前。 | はい | なし |
| DB2 データベースの JDBC URL。形式: | はい | なし |
| データソースのユーザー名。 | はい | なし |
| ユーザー名のパスワード。 | はい | なし |
| ソーステーブル。1 つのジョブで読み取れるのは 1 つのテーブルのみです。 | はい | なし |
| 読み取る列。JSON 配列として指定します。すべての列: | はい | なし |
| 同時抽出のためにデータをパーティション分割する際に使用するフィールド。均等な分散とデータホットスポットの回避のため、テーブルの主キーを使用してください。整数フィールドのみサポートされます。浮動小数点数、文字列、日付はサポートされません。サポートされない型を指定すると、DB2 リーダーはエラーを返します。 | いいえ |
|
| フィルター条件。DB2 リーダーは | いいえ | なし |
|
| いいえ | なし |
| データベースからバッチごとに取得するレコード数。値を大きくするとネットワークラウンドトリップが減り、抽出パフォーマンスが向上します。 | いいえ |
|
fetchSize が 2048 を超えると、同期中にメモリ不足 (OOM) エラーが発生する可能性があります。Writer スクリプトのデモ
{
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "stream",
"parameter": {},
"name": "Reader",
"category": "reader"
},
{
"stepType": "db2",
"parameter": {
"jdbcUrl": "jdbc:db2://IP:port/database",
"username": "",
"password": "",
"table": "",
"column": [
"id"
],
"preSql": [],
"postSql": [],
"batchSize": 1024
},
"name": "Writer",
"category": "writer"
}
],
"setting": {
"errorLimit": {
"record": "0"
},
"speed": {
"throttle": true,
"concurrent": 1,
"mbps": "12"
}
},
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
}Writer パラメーター
パラメーター | 説明 | 必須 | 既定値 |
| DB2 データベースの JDBC URL。形式: | はい | なし |
| データソースのユーザー名。 | はい | なし |
| ユーザー名のパスワード。 | はい | なし |
| 宛先テーブル。 | はい | なし |
| 宛先列。JSON 配列として指定します。例: | はい | なし |
| データ同期タスクの開始前に実行する SQL ステートメント。古いデータの削除やセットアップ操作に使用します。サポートされるステートメントは 1 つのみです。 | いいえ | なし |
| データ同期タスクの完了後に実行する SQL ステートメント。コードレス UI では 1 つのステートメントのみサポートされます。コードエディタでは複数のステートメントがサポートされます。 | いいえ | なし |
| バッチごとに送信するレコード数。値を大きくするとネットワークラウンドトリップが減り、書き込みスループットが向上します。値が高すぎると、OOM エラーが発生する可能性があります。 | いいえ |
|