OSS に基づいて作成された Hive 外部テーブルを使用したオフライン統合 - Dataphin

E-MapReduce 5.x Hadoop コンピュートエンジン内の OSS に基づく Hive 外部テーブルを使用して Dataphin でオフライン統合を実行するには、まず必要な設定を構成する必要があります。このトピックでは、これらの設定の構成について説明します。

構成手順

この機能を使用する前に、Hive データソースまたは Hadoop コンピュートソースの core-site.xml ファイルで必要なパラメーターを構成し、更新されたファイルをアップロードします。

Dataphin と OSS が同じリージョンにある場合は、core-site.xml ファイルの fs.oss.endpoint パラメーターを設定します。
Dataphin と OSS が異なるリージョンにある場合は、fs.oss.endpoint パラメーターに加えて、accessKeyId パラメーターと accessKeySecret パラメーターを含めます。

説明

内部ネットワークアドレスでは、accessKeyId と accessKeySecret の構成は必要ありません。

構成例

Dataphin と OSS が同じリージョンにある場合

<property>
<name>fs.oss.endpoint</name>
<value>oss-cn-hangzhou-internal.aliyuncs.com</value>
</property>

Dataphin と OSS が異なるリージョンにある場合
```
<property>
<name>fs.oss.endpoint</name>
<value>oss-cn-hangzhou-internal.aliyuncs.com</value>
</property>
<property>
    <name>fs.oss.accessKeyId</name>
    <value>ak</value>
</property>
<property>
    <name>fs.oss.accessKeySecret</name>
    <value>ks</value>
</property>
```
説明
- fs.oss.endpoint パラメーターの <value> については、リージョン環境に応じて構成します。詳細については、「リージョンとエンドポイント」をご参照ください。
- fs.oss.accessKeyId パラメーターと fs.oss.accessKeySecret パラメーターの <value> については、アカウントの AccessKey 情報を入力します。AccessKey を取得するには、「AccessKey の作成」をご参照ください。

よくある質問

オフライン統合プロセス中にエラーが発生した場合`com.alibaba.dt.pipeline.plugin.center.exception.DataXException: コード: [HDFSConnection-06]、説明: [HDFS との接続の確立中に IO 例外が発生しました。] - java.io.IOException: スキーム oss 用のファイルシステムがありません`。

core-site.xml ファイルに次の構成を追加します。

<property>
    <name>fs.oss.impl</name>
    <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
</property>
<property>
    <name>fs.AbstractFileSystem.oss.impl</name>
    <value>com.aliyun.jindodata.oss.OSS</value>
</property>
<property>
    <name>fs.jindofsx.data.cache.enable</name>
    <value>false</value>
</property>
<property>
    <name>fs.jindofsx.namespace.rpc.address</name>
    <value>emr-cluster:8101</value>
</property>

重要

fs.jindofsx.namespace.rpc.address パラメーターの <value> については、クラスターの構成に応じて設定します。サポートが必要な場合は、EMR プロダクトヘルプデスクにお問い合わせください。

オフライン統合プロセス中にエラーメッセージ `Description:[An IO exception occurred while establishing a connection with HDFS.]. - java.io.IOException: ERROR: not found login secrets, please configure the accessKeyId and accessKeySecret` が表示されてエラーが発生した場合

core-site.xml ファイルに次の構成を追加します。

<property>
    <name>fs.jindofsx.namespace.rpc.address</name>
    <value>emr-cluster:8101</value>
</property>