Hubungkan ke dan gunakan LindormDFS dengan client HDFS open-source - Lindorm

Topik ini menjelaskan cara menggunakan client Hadoop Distributed File System (HDFS) open-source untuk mengakses LindormDFS.

Prasyarat

Lingkungan Java telah diinstal. Versi JDK harus 1.7 atau lebih baru.
Alamat IP klien telah ditambahkan ke daftar putih Lindorm. Untuk informasi selengkapnya, lihat Set whitelists.

Perhatian

Jika aplikasi Anda dideploy pada instans ECS, instans Lindorm dan instans ECS harus memenuhi kondisi berikut untuk memastikan konektivitas jaringan.

Keduanya berada di wilayah yang sama. Gunakan zona ketersediaan yang sama untuk mengurangi latensi jaringan.
Keduanya menggunakan virtual private cloud (VPC) yang sama.

Unduh klien

Unduh kit pengembangan perangkat lunak (SDK) Hadoop 2.7.3, hadoop-2.7.3.tar.gz, dari situs web resmi Apache.

Konfigurasi Hadoop

Jalankan perintah berikut untuk mengekstrak paket SDK.
```
tar -zxvf hadoop-2.7.3.tar.gz
```

Tambahkan variabel lingkungan Hadoop.

export HADOOP_HOME=/${Hadoop_installation_folder}/hadoop-2.7.3

Jalankan perintah berikut untuk berpindah ke direktori hadoop.
```
cd $HADOOP_HOME
```
Tambahkan variabel lingkungan JAVA_HOME ke file hadoop-env.sh di direktori etc/hadoop/. Contoh ini mengasumsikan Java diinstal di /opt/install/java.
```
# atur ke root instalasi Java Anda
export JAVA_HOME=/opt/install/java
```

Ubah file etc/hadoop/hdfs-site.xml. Konten yang perlu diubah dalam file hdfs-site.xml adalah sebagai berikut, di mana Anda harus mengganti Instance ID dengan ID instans aktual Anda.

<configuration>
  <property>
        <name>dfs.nameservices</name>
        <value>${Instance ID}</value>
    </property>
    <property>
       <name>dfs.client.failover.proxy.provider.${Instance ID}</name>
       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
    </property>
    <property>
       <name>dfs.ha.namenodes.${Instance ID}</name>
       <value>nn1,nn2</value>
    </property>
     <property>
       <name>dfs.namenode.rpc-address.${Instance ID}.nn1</name>
       <value>${Instance ID}-master1-001.lindorm.rds.aliyuncs.com:8020</value>
    </property>
    <property>
       <name>dfs.namenode.rpc-address.${Instance ID}.nn2</name>
       <value>${Instance ID}-master2-001.lindorm.rds.aliyuncs.com:8020</value>
    </property>
</configuration>

Catatan

Anda dapat menghasilkan file konfigurasi secara otomatis di Konsol. Untuk informasi selengkapnya, lihat Automatically generate a configuration file.
Contoh di atas menunjukkan konfigurasi untuk satu instans. Untuk mengonfigurasi beberapa instans, salin seluruh blok <property> untuk setiap instans tambahan. Di setiap blok, ganti ${Instance ID} dengan ID instans yang sesuai. Kemudian, tempel semua blok <property> tersebut di dalam elemen <configuration>.

Contoh operasi umum

Unggah file lokal.

Buat folder.

$HADOOP_HOME/bin/hadoop fs -mkdir hdfs://${instanceID}/test

Buat file dan unggah ke LindormDFS.

echo "test" > test.log
$HADOOP_HOME/bin/hadoop fs -put test.log hdfs://${Instance ID}/test

Lihat file yang diunggah.

 $HADOOP_HOME/bin/hadoop fs -ls hdfs://${instance_id}/test

Unduh file ke mesin lokal Anda.
```
$HADOOP_HOME/bin/hadoop fs -get hdfs://${Instance ID}/test/test.log
```
Catatan
Ganti `${Instance ID}` dengan ID instans Anda.

Secara otomatis menghasilkan file konfigurasi

Login ke Lindorm console.
Di pojok kiri atas halaman, pilih wilayah tempat instans dideploy.
Pada halaman Instances, klik ID instans target atau klik View Instance Details di kolom Actions untuk instans tersebut.
Di panel navigasi kiri, klik Database Connections.
Pada halaman Database Connections, klik tab LindormDFS.
Klik Activate Now.
Setelah mengaktifkan Underlying File Access, klik Generate Configuration Items untuk menghasilkan konfigurasi hdfs-site dan core-site.