DataWorks は、Memcache データソースにデータを書き込むための Memcache Writer を提供しています。コードエディターを使用してのみ、Memcache データソースのバッチ同期タスクを設定できます。このトピックでは、Memcache データソースへのデータ同期の機能について説明します。
制限事項
コードエディターを使用してのみ、Memcache データソースにデータを同期するバッチ同期タスクを設定できます。
データ型マッピング
Memcache Writer は、テキスト形式でのみデータを書き込みます。データ型の変換方法は、Memcache Writer がデータを書き込む形式によって異なります。
text: Memcache Writer は、指定された列 区切り文字 を使用して、ソースデータを文字列にシリアル化します。
binary: この形式はサポートされていません。
データ同期タスクを開発する
データ同期タスクの設定のエントリポイントと手順については、以下のセクションを参照してください。パラメーター設定については、タスクの設定タブにある各パラメーターの情報チップをご覧ください。
データソースを追加する
特定のデータソースとの間でデータを同期するデータ同期タスクを設定する前に、DataWorks にデータソースを追加する必要があります。詳細については、「データソースを追加および管理する」をご参照ください。
単一テーブルのデータを同期するバッチ同期タスクを設定する
設定手順の詳細については、「コードエディターを使用してバッチ同期タスクを設定する」をご参照ください。
コードエディターを使用してバッチ同期タスクを設定する場合に設定されるすべてのパラメーターと実行されるコードについては、「付録: コードとパラメーター」をご参照ください。
付録: コードとパラメーター
付録: コードエディターを使用してバッチ同期タスクを設定する
コードエディターを使用してバッチ同期タスクを設定する場合は、コードエディターの形式要件に基づいて、関連データソースのリーダーとライターのパラメーターを設定する必要があります。形式要件の詳細については、「コードエディターを使用してバッチ同期タスクを設定する」をご参照ください。以下の情報は、コードエディターのリーダーとライターのパラメーターの設定の詳細について説明しています。
Memcache Writer のコード
{
"type":"job",
"version":"2.0",// バージョン番号。
"steps":[
{
"stepType":"stream",
"parameter":{},
"name":"Reader",
"category":"reader"
},
{
"stepType":"ocs",// プラグイン名。
"parameter":{
"writeFormat":"text",// Memcache Writer がソースデータを書き込む形式。
"expireTime":1000,// Memcache データベースにキャッシュされるソースデータの有効期限。
"indexes":0,
"datasource":"",// データソースの名前。
"writeMode":"set",// 書き込みモード。
"batchSize":"256"// 一度に書き込むデータレコードの数。
},
"name":"Writer",
"category":"writer"
}
],
"setting":{
"errorLimit":{
"record":"0"// 許容されるダーティデータレコードの最大数。
},
"speed":{
"throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効であることを示し、値 true はスロットリングが有効であることを示します。mbps パラメーターは、throttle パラメーターが true に設定されている場合にのみ有効になります。
"concurrent":1, // 並列スレッドの最大数。
"mbps":"12"// 最大転送速度。単位: MB/s。
}
},
"order":{
"hops":[
{
"from":"Reader",
"to":"Writer"
}
]
}
}Memcache Writer のコードのパラメーター
パラメーター | 説明 | 必須 | デフォルト値 |
datasource | データソースの名前。追加されたデータソースの名前と同じである必要があります。コードエディターを使用してデータソースを追加できます。 | はい | デフォルト値なし |
writeMode | 書き込みモード。有効な値:
| はい | デフォルト値なし |
writeFormat | Memcache Writer がソースデータを書き込む形式。テキスト形式のみがサポートされています。 text: ソースデータをテキスト形式にシリアル化します。Memcache Writer は、ソースデータの最初の列をキーとして使用し、後続の列を指定された 区切り文字 を使用して文字列にシリアル化します。次に、Memcache Writer は、キーと値のペアを Memcache に書き込みます。 たとえば、次のソースデータが存在するとします。 列の区切り文字を \^ に設定すると、データは次の形式で Memcache に書き込まれます。 | いいえ | デフォルト値なし |
expireTime | Memcache にキャッシュされるソースデータの有効期限。Memcache は、次の形式の有効期限をサポートしています。
説明 指定された有効期限が 30 日を超える場合、サーバーは時刻を UNIX タイムスタンプとして識別します。 | いいえ | 0。データの有効期限が切れないことを示します。 |
batchSize | 一度に書き込むデータレコードの数。ビジネス要件に基づいて、このパラメーターを適切な値に設定します。これにより、Data Integration と Memcache の間の相互作用が大幅に削減され、スループットが向上します。このパラメーターを過度に大きな値に設定すると、データ同期の際にメモリ不足 (OOM) エラーが発生する可能性があります。 | いいえ | 1,024 |