DataWorks:GDBデータソース

制限事項

データ同期タスクの開発

データ同期タスクのエントリポイントと設定手順については、以下のセクションを参照してください。パラメーター設定については、タスクの設定タブにある各パラメーターのinfotipを参照してください。

データソースの追加

特定のデータソースとのデータ同期タスクを設定する前に、DataWorksにデータソースを追加する必要があります。詳細については、「データソースの追加と管理」をご参照ください。

単一テーブルのデータを同期するためのバッチ同期タスクの設定

• 設定手順の詳細については、「コードレスUIを使用したバッチ同期タスクの設定」および「コードエディターを使用したバッチ同期タスクの設定」をご参照ください。

• コードエディターを使用してバッチ同期タスクを設定する場合に設定されるすべてのパラメーターと実行されるコードについては、「付録：コードとパラメーター」をご参照ください。

付録：コードとパラメーター

付録：コードエディターを使用したバッチ同期タスクの設定

コードエディターを使用してバッチ同期タスクを設定する場合は、コードエディターの形式要件に基づいて、関連データソースのリーダーとライターのパラメーターを設定する必要があります。形式要件の詳細については、「コードエディターを使用したバッチ同期タスクの設定」をご参照ください。以下の情報は、コードエディターのリーダーとライターのパラメーターの設定詳細について説明しています。

GDB Readerのコード

GDB Readerのコードのパラメーター

GDB Writerのコード

• GDBデータベースに頂点に関するデータを書き込む同期タスクを設定する

  {
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      },
      "setting":{
          "errorLimit":{
              "record":"100"  // 許容されるダーティデータレコードの最大数。
          },
          "speed":{
               "throttle":true,// スロットリングを有効にするかどうかを指定します。値falseはスロットリングが無効であることを示し、値trueはスロットリングが有効であることを示します。mbpsパラメーターは、throttleパラメーターがtrueに設定されている場合にのみ有効になります。
              "concurrent":3, // 並列スレッドの最大数。
              "mbps":"12"// 最大伝送速度。単位：MB/s。
          }
      },
      "steps":[
          {
              "category":"reader",
              "name":"Reader",
              "parameter":{
                  "column":[
                      "*"
                  ],
                  "datasource":"_ODPS",
                  "emptyAsNull":true,
                  "guid":"",
                  "isCompress":false,
                  "partition":[],
                  "table":""
              },
              "stepType":"odps"
          },
          {
              "category":"writer",
              "name":"Writer",
              "parameter": {
                  "datasource": "testGDB", // データソースの名前。
                  "label": "person", // ラベル。頂点の名前です。
                  "srcLabel": "", // 頂点の場合は、このパラメーターを設定する必要はありません。
                  "dstLabel": "", // 頂点の場合は、このパラメーターを設定する必要はありません。
                  "labelType": "VERTEX", // ラベルのタイプ。値VERTEXは頂点を示します。
                  "writeMode": "INSERT", // GDB Writerがプライマリキーが重複するデータレコードを処理するモード。
                  "idTransRule": "labelPrefix", // 頂点のプライマリキーを変換するためのルール。
                  "srcIdTransRule": "none", // 頂点の場合は、このパラメーターを設定する必要はありません。
                  "dstIdTransRule": "none", // 頂点の場合は、このパラメーターを設定する必要はありません。
                  "column": [
                      {
                          "name": "id", // 頂点プロパティの名前。
                          "value": "#{0}", // ソースの最初の列の値が頂点プロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。この例では、0は列インデックスです。
                          "type": "string", // 頂点プロパティのデータ型。
                          "columnType": "primaryKey" // 頂点プロパティのカテゴリ。値primaryKeyはプライマリキーを示します。
                      }, // 頂点のプライマリキー。値はSTRING型のIDである必要があり、レコードが存在する必要があります。
                      {
                          "name": "person_age",
                          "value": "#{1}", // ソースの2番目の列の値が頂点プロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。
                          "type": "int",
                          "columnType": "vertexProperty" // 頂点プロパティのカテゴリ。値vertexPropertyは共通の頂点プロパティを示します。
                      }, // 頂点の共通プロパティ。値はINT、LONG、FLOAT、DOUBLE、BOOLEAN、またはSTRING型にすることができます。
                      {
                          "name": "person_credit",
                          "value": "#{2}", // ソースの3番目の列の値が頂点プロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。
                          "type": "string",
                          "columnType": "vertexProperty"
                      }, // 頂点の共通プロパティ。
                  ]
              }
              "stepType":"gdb"
          }
      ],
      "type":"job",
      "version":"2.0"
  }

• GDBデータベースにエッジに関するデータを書き込む同期タスクを設定する

  {
      "order":{
          "hops":[
              {
                  "from":"Reader",
                  "to":"Writer"
              }
          ]
      },
      "setting":{
          "errorLimit":{
              "record":"100" // 許容されるダーティデータレコードの最大数。
          },
          "jvmOption":"",
          "speed":{
              "throttle":true,// スロットリングを有効にするかどうかを指定します。値falseはスロットリングが無効であることを示し、値trueはスロットリングが有効であることを示します。mbpsパラメーターは、throttleパラメーターがtrueに設定されている場合にのみ有効になります。
              "concurrent":3, // 並列スレッドの最大数。
              "mbps":"12"// 最大伝送速度。単位：MB/s。
          }
      },
      "steps":[
          {
              "category":"reader",
              "name":"Reader",
              "parameter":{
                  "column":[
                      "*"
                  ],
                  "datasource":"_ODPS",
                  "emptyAsNull":true,
                  "guid":"",
                  "isCompress":false,
                  "partition":[],
                  "table":""
              },
              "stepType":"odps"
          },
          {
              "category":"writer",
              "name":"Writer",
              "parameter": {
                  "datasource": "testGDB", // データソースの名前。
                  "label": "use", // ラベル。エッジの名前です。
                  "labelType": "EDGE", // ラベルのタイプ。値EDGEはエッジを示します。
                  "srcLabel": "person", // エッジの始点頂点の名前。
                  "dstLabel": "software", // エッジの終点頂点の名前。
                  "writeMode": "INSERT", // GDB Writerがプライマリキーが重複するデータレコードを処理するモード。
                  "idTransRule": "labelPrefix", // エッジのプライマリキーを変換するためのルール。
                  "srcIdTransRule": "labelPrefix", // エッジの始点頂点のプライマリキーを変換するためのルール。
                  "dstIdTransRule": "labelPrefix", // エッジの終点頂点のプライマリキーを変換するためのルール。
                  "column": [
                      {
                          "name": "id", // エッジプロパティの名前。
                          "value": "#{0}", // ソースの最初の列の値がエッジプロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。
                          "type": "string", // エッジプロパティのデータ型。
                          "columnType": "primaryKey" // エッジプロパティのカテゴリ。値primaryKeyはプライマリキーを示します。
                      }, // エッジのプライマリキー。値はSTRING型のIDである必要があり、レコードが存在する必要があります。
                      {
                          "name": "id",
                          "value": "#{1}", // ソースの2番目の列の値がエッジプロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。マッピングルールは、頂点をインポートするときに設定したものと同じである必要があります。
                          "type": "string",
                          "columnType": "srcPrimaryKey" // エッジプロパティのカテゴリ。値srcPrimaryKeyは始点頂点のプライマリキーを示します。
                      }, // 始点頂点のプライマリキー。値はSTRING型のIDである必要があり、レコードが存在する必要があります。
                      {
                          "name": "id",
                          "value": "#{2}", // ソースの3番目の列の値がエッジプロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。マッピングルールは、頂点をインポートするときに設定したものと同じである必要があります。
                          "type": "string",
                          "columnType": "dstPrimaryKey" // エッジプロパティのカテゴリ。値dstPrimaryKeyは終点頂点のプライマリキーを示します。
                      }, // 終点頂点のプライマリキー。値はSTRING型のIDである必要があり、レコードが存在する必要があります。
                      {
                          "name": "person_use_software_time",
                          "value": "#{3}", // ソースの4番目の列の値がエッジプロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。
                          "type": "long",
                          "columnType": "edgeProperty" // エッジプロパティのカテゴリ。値edgePropertyは共通のエッジプロパティを示します。
                      }, // エッジの共通プロパティ。値はINT、LONG、FLOAT、DOUBLE、BOOLEAN、またはSTRING型にすることができます。
                      {
                          "name": "person_regist_software_name",
                          "value": "#{4}", // ソースの5番目の列の値がエッジプロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。
                          "type": "string",
                          "columnType": "edgeProperty"
                      }, // エッジの共通プロパティ。
                      {
                          "name": "id",
                          "value": "#{5}", // ソースの6番目の列の値がエッジプロパティの値として使用されます。複数の列が指定されている場合、列を連結できます。
                          "type": "long",
                          "columnType": "edgeProperty"
                      }, // エッジの共通プロパティ。値はIDです。プライマリキーとは異なり、このプロパティはオプションです。
                  ]
              }
              "stepType":"gdb"
          }
      ],
      "type":"job",
      "version":"2.0"
  }

GDB Writerのコードのパラメーター

{"properties":[
    {"k":"name","t":"string","v":"tom"},
    {"k":"age","t":"int","v":"20"},
    {"k":"sex","t":"string","v":"male"}
]}