オープンソースの HDFS クライアントを使用した LindormDFS への接続と利用 - Lindorm

このトピックでは、オープンソースの Hadoop 分散ファイルシステム (HDFS) クライアントを用いて LindormDFS にアクセスする方法について説明します。

前提条件

Java 環境がインストール済みであること。JDK のバージョンは 1.7 以降である必要があります。
クライアントの IP アドレスが Lindorm のホワイトリストに登録されていること。詳細については、「ホワイトリストの設定」をご参照ください。

注意事項

アプリケーションが ECS インスタンス上にデプロイされている場合、Lindorm インスタンスと ECS インスタンスは、ネットワーク接続を確保するために以下の条件を満たす必要があります。

同一リージョン内であること。ネットワーク遅延を低減するため、同一可用性ゾーンを使用することを推奨します。
同一仮想プライベートクラウド (VPC) を使用していること。

クライアントのダウンロード

Apache 公式ウェブサイトから、Hadoop 2.7.3 のソフトウェア開発キット (SDK) hadoop-2.7.3.tar.gz をダウンロードします。

Hadoop の構成

以下のコマンドを実行して、SDK パッケージを解凍します。
```
tar -zxvf hadoop-2.7.3.tar.gz
```

Hadoop の環境変数を追加します。

export HADOOP_HOME=/${Hadoop_installation_folder}/hadoop-2.7.3

以下のコマンドを実行して、hadoop ディレクトリに移動します。
```
cd $HADOOP_HOME
```
JAVA_HOME 環境変数を、etc/hadoop/ ディレクトリ内の hadoop-env.sh ファイルに追加します。この例では、Java が /opt/install/java にインストールされていると仮定しています。
```
# set to the root of your Java installation
export JAVA_HOME=/opt/install/java
```

etc/hadoop/hdfs-site.xml ファイルを編集します。hdfs-site.xml ファイルに追加または変更する内容は以下のとおりです。`Instance ID` の部分は、ご利用の実際のインスタンス ID に置き換えてください。

<configuration>
  <property>
        <name>dfs.nameservices</name>
        <value>${Instance ID}</value>
    </property>
    <property>
       <name>dfs.client.failover.proxy.provider.${Instance ID}</name>
       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
    </property>
    <property>
       <name>dfs.ha.namenodes.${Instance ID}</name>
       <value>nn1,nn2</value>
    </property>
     <property>
       <name>dfs.namenode.rpc-address.${Instance ID}.nn1</name>
       <value>${Instance ID}-master1-001.lindorm.rds.aliyuncs.com:8020</value>
    </property>
    <property>
       <name>dfs.namenode.rpc-address.${Instance ID}.nn2</name>
       <value>${Instance ID}-master2-001.lindorm.rds.aliyuncs.com:8020</value>
    </property>
</configuration>

説明

構成ファイルはコンソール上で自動生成できます。詳細については、「構成ファイルの自動生成」をご参照ください。
前述の例では、単一のインスタンスの構成を示しています。複数のインスタンスを構成するには、各追加インスタンスに対して、<property> ブロック全体をコピーします。各ブロックで、${Instance ID} を対応するインスタンスの ID に置き換えます。その後、すべての <property> ブロックを <configuration> 要素内に貼り付けます。

一般的な操作の例

ローカルファイルのアップロード

フォルダを作成します。

$HADOOP_HOME/bin/hadoop fs -mkdir hdfs://${instanceID}/test

ファイルを作成し、LindormDFS にアップロードします。

echo "test" > test.log
$HADOOP_HOME/bin/hadoop fs -put test.log hdfs://${Instance ID}/test

アップロードされたファイルを表示します。
```
 $HADOOP_HOME/bin/hadoop fs -ls hdfs://${instance_id}/test
```
ファイルをローカルマシンにダウンロードします。
```
$HADOOP_HOME/bin/hadoop fs -get hdfs://${Instance ID}/test/test.log
```
説明
`${Instance ID}` をご利用のインスタンス ID に置き換えてください。

構成ファイルの自動生成

Lindorm コンソールにログインします。
ページ左上隅で、インスタンスがデプロイされているリージョンを選択します。
Instances ページで、対象インスタンスの ID をクリックするか、インスタンスの Actions 列から View Instance Details をクリックします。
左側のナビゲーションウィンドウで、Database Connections をクリックします。
Database Connections ページで、基本ファイルアクセス タブをクリックします。
Activate Now をクリックします。
基盤ファイルアクセス機能を有効化した後、Generate Configuration Items をクリックして、hdfs-site.xml および core-site.xml の構成を生成します。