使用基於OSS建立的Hive外部表格進行離線整合 - Dataphin

在E-MapReduce5.xHadoop計算引擎下，若您需要將基於OSS建立的Hive外部表格在Dataphin中進行離線整合操作。您需要先進行相關配置，才可以進行離線整合。本文將指導您如何進行配置。

配置說明

使用該功能需要您先在Hive資料來源或者Hadoop計算源的core-site.xml設定檔中配置相關參數並上傳。

如果Dataphin和OSS在同一個地區region下，core-site.xml需要配置fs.oss.endpoint參數。
如果Dataphin和OSS為跨地區region，除配置fs.oss.endpoint參數外，還需要額外增加配置accessKeyId與accessKeySecret參數。

說明

內網地址無需配置accessKeyId與accessKeySecret。

配置樣本

Dataphin和OSS在同一個地區region。

<property>
<name>fs.oss.endpoint</name>
<value>oss-cn-hangzhou-internal.aliyuncs.com</value>
</property>

Dataphin和OSS為跨地區region。
```
<property>
<name>fs.oss.endpoint</name>
<value>oss-cn-hangzhou-internal.aliyuncs.com</value>
</property>
<property>
    <name>fs.oss.accessKeyId</name>
    <value>ak</value>
</property>
<property>
    <name>fs.oss.accessKeySecret</name>
    <value>ks</value>
</property>
```
說明
- fs.oss.endpoint參數的<value>值，請根據您的地區環境進行配置。更多資訊，請參見訪問網域名稱和資料中心。
- fs.oss.accessKeyId和fs.oss.accessKeySecret參數的<value>值，請填寫帳號的AccessKey（AK）資訊。擷取AK的方式，請參見建立AccessKey。

常見問題

如果在使用離線整合過程中報錯`com.alibaba.dt.pipeline.plugin.center.exception.DataXException: Code:[HDFSConnection-06], Description:[與HDFS建立串連時出現IO異常.]. - java.io.IOException: No FileSystem for scheme: oss`。

您需要在core-site.xml設定檔中添加以下配置：

<property>
    <name>fs.oss.impl</name>
    <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
</property>
    <property>
    <name>fs.AbstractFileSystem.oss.impl</name>
    <value>com.aliyun.jindodata.oss.OSS</value>
</property>
<property>
    <name>fs.jindofsx.data.cache.enable</name>
    <value>false</value>
</property>
<property>
    <name>fs.jindofsx.namespace.rpc.address</name>
    <value>emr-cluster:8101</value>
</property>

重要

fs.jindofsx.namespace.rpc.address參數的<value>值配置，請根據您的叢集配置自行配置，如無法確認您可以諮詢EMR產品的相關技術服務人員。

如果在使用離線整合過程中報錯`Description:[與HDFS建立串連時出現IO異常.]. - java.io.IOException: ERROR: not found login secrets, please configure the accessKeyId and accessKeySecret`。