Dataphin:OSS ベースの Hive 外部テーブルを使用したオフライン統合

設定手順

Hive データソースまたは Hadoop コンピューティングエンジンの core-site.xml ファイルで必要なパラメーターを設定し、ファイルをアップロードします。

• Dataphin と OSS が同じリージョンにある場合は、 core-site.xml ファイルで fs.oss.endpoint パラメーターを設定します。

• Dataphin と OSS が異なるリージョンにある場合は、 fs.oss.endpoint に加えて、accessKeyId および accessKeySecret パラメーターも設定する必要があります。

設定例

• Dataphin と OSS が同じリージョンにある場合

  <property>
  <name>fs.oss.endpoint</name>
  <value>oss-cn-hangzhou-internal.aliyuncs.com</value>
  </property>

• Dataphin と OSS が異なるリージョンにある場合

  <property>
  <name>fs.oss.endpoint</name>
  <value>oss-cn-hangzhou-internal.aliyuncs.com</value>
  </property>
  <property>
      <name>fs.oss.accessKeyId</name>
      <value>ak</value>
  </property>
  <property>
      <name>fs.oss.accessKeySecret</name>
      <value>ks</value>
  </property>

  説明

  • fs.oss.endpoint の {value} を、 お使いのリージョンに基づいて設定してください。詳細については、「リージョンとエンドポイント」をご参照ください。

  • fs.oss.accessKeyId と fs.oss.accessKeySecret については、 {value} を、 ご自身の AccessKey 情報に設定してください。 AccessKey の取得方法の詳細については、「AccessKey の作成」をご参照ください。

よくある質問

オフライン統合中のエラー： com.alibaba.dt.pipeline.plugin.center.exception.DataXException: Code:[HDFSConnection-06], Description:[An IO exception occurred while establishing a connection with HDFS.]. - java.io.IOException: No FileSystem for scheme: oss

このエラーを解決するには、次の設定を core-site.xml ファイルに追加してください。

<property>
    <name>fs.oss.impl</name>
    <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
</property>
    <property>
    <name>fs.AbstractFileSystem.oss.impl</name>
    <value>com.aliyun.jindodata.oss.OSS</value>
</property>
<property>
    <name>fs.jindofsx.data.cache.enable</name>
    <value>false</value>
</property>
<property>
    <name>fs.jindofsx.namespace.rpc.address</name>
    <value>emr-cluster:8101</value>
</property>

オフライン統合中のエラー： Description:[An IO exception occurred while establishing a connection with HDFS.]. - java.io.IOException: ERROR: not found login secrets, please configure the accessKeyId and accessKeySecret

このエラーを解決するには、次の設定を core-site.xml ファイルに追加してください。

<property>
    <name>fs.oss.accessKeyId</name>
    <value>ak</value>
</property>
<property>
    <name>fs.oss.accessKeySecret</name>
    <value>ks</value>
</property>