DataWorks:Hive データソース

Alibaba Cloud インスタンスモード

このインスタンスの OSS テーブルを同期する場合は、対応する [アクセス ID] を選択します。サポートされているアクセス ID は、[Alibaba Cloud アカウント]、[RAM ユーザー]、および [RAM ロール] です。選択したアクセス ID に必要な OSS 権限があることを確認してください。そうでない場合、読み取りおよび書き込み権限が不十分なため、データ同期は失敗します。

接続文字列モード

{"dlf.catalog.id" : "my_catalog_xxxx"}

{
// 次のコードは HA 構成の例です。
"dfs.nameservices":"testDfs",
"dfs.ha.namenodes.testDfs":"namenode1,namenode2",
"dfs.namenode.rpc-address.testDfs.namenode1": "",
"dfs.namenode.rpc-address.testDfs.namenode2": "",
"dfs.client.failover.proxy.provider.testDfs":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
// (オプション) 基盤となるストレージが OSS の場合、OSS サービスに接続するために拡張パラメーターで次のパラメーターを構成する必要があります。
"fs.oss.accessKeyId":"<yourAccessKeyId>",
"fs.oss.accessKeySecret":"<yourAccessKeySecret>",
"fs.oss.endpoint":"oss-cn-<yourRegion>-internal.aliyuncs.com"
}

CDH モード

CDH モードを使用して Hive データソースを構成するには、CDH クラスターを DataWorks に登録する必要があります。

Kerberos 認証

SSL 認証

単一テーブルのオフライン同期タスクの構成

• 手順の詳細については、「コードレス UI でタスクを構成する」および「コードエディタでタスクを構成する」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプトデモについては、「付録: スクリプトデモとパラメーター」をご参照ください。

データベース全体のオフライン読み取り同期タスクの構成

手順の詳細については、「データベース全体のオフライン同期タスク」をご参照ください。

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合は、統一されたスクリプト形式の要件に基づいてスクリプト内の関連パラメーターを構成する必要があります。詳細については、「コードエディタでタスクを構成する」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを構成する際にデータソースに対して構成する必要があるパラメーターについて説明します。

Reader スクリプトデモ

HDFS ファイルまたは Hive JDBC を使用してデータを読み取ることができます。

• HDFS ファイルを使用したデータの読み取り

  {
      "type": "job",
      "steps": [
          {
              "stepType": "hive",
              "parameter": {
                  "partition": "pt1=a,pt2=b,pt3=c", // パーティション情報
                  "datasource": "hive_not_ha_****", // データソース名
                  "column": [ // 読み取る列
                      "id",
                      "pt2",
                      "pt1"
                  ],
                  "readMode": "hdfs", // 読み取りモード
                  "table": "part_table_1",
                  "fileSystemUsername" : "hdfs",
                  "hivePartitionColumn": [
                      {
                        "type": "string",
                        "value": "partition name 1"
                      },
                      {
                        "type": "string",
                        "value": "partition name 2"
                       }
                   ],
                   "successOnNoFile":true
              },
              "name": "Reader",
              "category": "reader"
          },
          {
              "stepType": "hive",
              "parameter": {
              },
              "name": "Writer",
              "category": "writer"
          }
      ],
      "version": "2.0",
      "order": {
          "hops": [
              {
                  "from": "Reader",
                  "to": "Writer"
              }
          ]
      },
      "setting": {
          "errorLimit": {
              "record": "" // エラーレコード数
          },
          "speed": {
              "concurrent": 2, // ジョブの同時実行数
              "throttle": true,// throttle が false に設定されている場合、mbps パラメーターは効果がなく、トラフィックはスロットリングされません。throttle が true に設定されている場合、トラフィックはスロットリングされます。
              "mbps":"12"// スロットリング
          }
      }
  }

• Hive JDBC を使用したデータの読み取り

  {
      "type": "job",
      "steps": [
          {
              "stepType": "hive",
              "parameter": {
                  "querySql": "select id,name,age from part_table_1 where pt2='B'",
                  "datasource": "hive_not_ha_****",  // データソース名
                   "session": [
                      "mapred.task.timeout=600000"
                  ],
                  "column": [ // 読み取る列
                      "id",
                      "name",
                      "age"
                  ],
                  "where": "",
                  "table": "part_table_1",
                  "readMode": "jdbc" // 読み取りモード
              },
              "name": "Reader",
              "category": "reader"
          },
          {
              "stepType": "hive",
              "parameter": {
              },
              "name": "Writer",
              "category": "writer"
          }
      ],
      "version": "2.0",
      "order": {
          "hops": [
              {
                  "from": "Reader",
                  "to": "Writer"
              }
          ]
      },
      "setting": {
          "errorLimit": {
              "record": ""
          },
          "speed": {
              "concurrent": 2,  // ジョブの同時実行数
              "throttle": true,// throttle が false に設定されている場合、mbps パラメーターは効果がなく、トラフィックはスロットリングされません。throttle が true に設定されている場合、トラフィックはスロットリングされます。
              "mbps":"12"// スロットリング            
              
          }
      }
  }

Reader スクリプトパラメーター

Writer スクリプトデモ

{
    "type": "job",
    "steps": [
        {
            "stepType": "hive",
            "parameter": {
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "hive",
            "parameter": {
                "partition": "year=a,month=b,day=c", // パーティション構成
                "datasource": "hive_ha_shanghai", // データソース
                "table": "partitiontable2", // 宛先テーブル
                "column": [ // 列構成
                    "id",
                    "name",
                    "age"
                ],
                "writeMode": "append" ,// 書き込みモード
                "fileSystemUsername" : "hdfs"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは効果がなく、トラフィックはスロットリングされません。throttle が true に設定されている場合、トラフィックはスロットリングされます。
            "concurrent":2, // ジョブの同時実行数。
            "mbps":"12"// スロットリング
        }
    }
}

Writer スクリプトパラメーター