開啟並配置HDFS訪問以支援HBase bulkload-ApsaraDB for HBase版-阿里雲

在一些情境下，比如需要bulkload匯入資料，需要開啟HBase叢集的HDFS連接埠。

注意：HDFS連接埠開啟後，因誤操作HDFS導致的資料丟失等問題客戶自身承擔，客戶需要對HDFS的操作比較瞭解。
首先聯絡雲HBase答疑（s0s3eg3），開通HDFS（由於HDFS的開放可能造成使用者的惡意攻擊，引起叢集不穩定甚至造成破壞。因此此功能暫時不直接開放給使用者，當使用者特別需要的情況下，我們通過雲HBase答疑後台開通，隨後客戶使用完成，再關閉）。

驗證

檢查連接埠是否可以正常使用通過一個HDFS client訪問雲HBase上的HDFS（目的地組群）。
建立一個Hadoop用戶端配置目錄conf（如果使用用戶端已存在這個目錄則不需要另行建立）。

添加以下兩個HDFS配置到Hadoop用戶端conf目錄中。

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hbase-cluster</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
    <name>dfs.nameservices</name>
    <value>hbase-cluster</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.hbase-cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.hbase-cluster</name>
<value>true</value>
</property>
<property>
    <name>dfs.ha.namenodes.hbase-cluster</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.hbase-cluster.nn1</name>
    <value>{hbase-header-1-host}:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.hbase-cluster.nn2</name>
    <value>{hbase-header-2-host}:8020</value>
</property>
</configuration>

說明

參數{hbase-header-1-host}和{hbase-header-2-host}通過提交工單擷取。

添加conf到Hadoop用戶端classpath中。

讀寫驗證HDFS連接埠能否正常訪問。

echo "HDFS port test"  >/tmp/test
hadoop dfs -put /tmp/test  /
hadoop dfs -cat /test