すべてのプロダクト
Search
ドキュメントセンター

DataWorks:Memcache データソース

最終更新日:Jan 11, 2025

DataWorks は、Memcache データソースにデータを書き込むための Memcache Writer を提供しています。コードエディターを使用してのみ、Memcache データソースのバッチ同期タスクを設定できます。このトピックでは、Memcache データソースへのデータ同期の機能について説明します。

制限事項

コードエディターを使用してのみ、Memcache データソースにデータを同期するバッチ同期タスクを設定できます。

データ型マッピング

Memcache Writer は、テキスト形式でのみデータを書き込みます。データ型の変換方法は、Memcache Writer がデータを書き込む形式によって異なります。

  • text: Memcache Writer は、指定された列 区切り文字 を使用して、ソースデータを文字列にシリアル化します。

  • binary: この形式はサポートされていません。

データ同期タスクを開発する

データ同期タスクの設定のエントリポイントと手順については、以下のセクションを参照してください。パラメーター設定については、タスクの設定タブにある各パラメーターの情報チップをご覧ください。

データソースを追加する

特定のデータソースとの間でデータを同期するデータ同期タスクを設定する前に、DataWorks にデータソースを追加する必要があります。詳細については、「データソースを追加および管理する」をご参照ください。

単一テーブルのデータを同期するバッチ同期タスクを設定する

付録: コードとパラメーター

付録: コードエディターを使用してバッチ同期タスクを設定する

コードエディターを使用してバッチ同期タスクを設定する場合は、コードエディターの形式要件に基づいて、関連データソースのリーダーとライターのパラメーターを設定する必要があります。形式要件の詳細については、「コードエディターを使用してバッチ同期タスクを設定する」をご参照ください。以下の情報は、コードエディターのリーダーとライターのパラメーターの設定の詳細について説明しています。

Memcache Writer のコード

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ocs",// プラグイン名。
            "parameter":{
                "writeFormat":"text",// Memcache Writer がソースデータを書き込む形式。
                "expireTime":1000,// Memcache データベースにキャッシュされるソースデータの有効期限。
                "indexes":0,
                "datasource":"",// データソースの名前。
                "writeMode":"set",// 書き込みモード。
                "batchSize":"256"// 一度に書き込むデータレコードの数。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるダーティデータレコードの最大数。
        },
        "speed":{
            "throttle":true,// スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効であることを示し、値 true はスロットリングが有効であることを示します。mbps パラメーターは、throttle パラメーターが true に設定されている場合にのみ有効になります。
            "concurrent":1, // 並列スレッドの最大数。
            "mbps":"12"// 最大転送速度。単位: MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Memcache Writer のコードのパラメーター

パラメーター

説明

必須

デフォルト値

datasource

データソースの名前。追加されたデータソースの名前と同じである必要があります。コードエディターを使用してデータソースを追加できます。

はい

デフォルト値なし

writeMode

書き込みモード。有効な値:

  • set: ソースデータを格納します。

  • add: ソースデータのキーが宛先に存在しない場合にのみ、ソースデータを格納します。このモードはサポートされていません。

  • replace: ソースデータを使用して、宛先でソースデータと同じキーを持つデータレコードを置き換えます。このモードはサポートされていません。

  • append: ソースデータを、宛先でソースデータと同じキーを持つ既存のデータレコードの末尾に追加しますが、既存のデータレコードの有効期限は更新しません。このモードはサポートされていません。

  • prepend: ソースデータを、宛先でソースデータと同じキーを持つ既存のデータレコードの先頭に追加しますが、既存のデータレコードの有効期限は更新しません。このモードはサポートされていません。

はい

デフォルト値なし

writeFormat

Memcache Writer がソースデータを書き込む形式。テキスト形式のみがサポートされています。

text: ソースデータをテキスト形式にシリアル化します。Memcache Writer は、ソースデータの最初の列をキーとして使用し、後続の列を指定された 区切り文字 を使用して文字列にシリアル化します。次に、Memcache Writer は、キーと値のペアを Memcache に書き込みます。

たとえば、次のソースデータが存在するとします。

| ID   | NAME  | COUNT|
| ---- |:------|:-----|
| 23   | "CDP" | 100  |

列の区切り文字を \^ に設定すると、データは次の形式で Memcache に書き込まれます。

| KEY (OCS) | VALUE(OCS) |
| --------- |:---------- |
| 23        | CDP\^100   |

いいえ

デフォルト値なし

expireTime

Memcache にキャッシュされるソースデータの有効期限。Memcache は、次の形式の有効期限をサポートしています。

  • unixtime: UNIX タイムスタンプ。将来の特定の時点を指定し、その時点でデータの有効期限が切れます。UNIX タイムスタンプは、1970 年 1 月 1 日 00:00:00 から経過した秒数を表します。

  • seconds: 現在の時点から開始する秒単位の時間。データが有効な期間を指定します。

説明

指定された有効期限が 30 日を超える場合、サーバーは時刻を UNIX タイムスタンプとして識別します。

いいえ

0。データの有効期限が切れないことを示します。

batchSize

一度に書き込むデータレコードの数。ビジネス要件に基づいて、このパラメーターを適切な値に設定します。これにより、Data Integration と Memcache の間の相互作用が大幅に削減され、スループットが向上します。このパラメーターを過度に大きな値に設定すると、データ同期の際にメモリ不足 (OOM) エラーが発生する可能性があります。

いいえ

1,024