Terhubung ke LindormDFS menggunakan antarmuka baris perintah HDFS - Lindorm

Shell HDFS adalah alat baris perintah yang disediakan oleh Hadoop Distributed File System (HDFS). LindormDFS sepenuhnya kompatibel dengan HDFS. Anda dapat menggunakan shell HDFS untuk mengelola file yang tersimpan di LindormDFS, seperti menanyakan, menghapus, mengelola izin, dan mengubah nama file. Topik ini menjelaskan perintah umum dari shell HDFS serta memberikan contoh penggunaannya.

Perhatian

Sistem file dasar merupakan sistem ketersediaan tinggi (HA) yang menggunakan beberapa NameNode. Anda harus mengonfigurasi mekanisme failover otomatis untuk mencegah gangguan akses jika NameNode utama mengalami failover. Untuk informasi selengkapnya tentang cara mengonfigurasi mekanisme ini, lihat Konfigurasi Hadoop.

Lingkungan

Untuk informasi lebih lanjut tentang cara mengonfigurasi lingkungan, lihat Unduh klien dan Konfigurasikan Apache Hadoop.

Perintah Umum

Unggah Data

Tabel berikut mencantumkan perintah yang biasa digunakan untuk mengunggah data dari jalur lokal ke LindormDFS.

Perintah	Deskripsi
put	Perintah ini menyalin file dari satu atau lebih jalur sumber dalam sistem file lokal ke LindormDFS. Anda juga dapat menjalankan perintah ini untuk membaca data dari input standar (stdin) dan menulis data masukan ke LindormDFS.
copyFromLocal	Perintah ini mirip dengan perintah put. Namun, jalur sumber yang ditentukan dalam perintah ini harus berupa jalur lokal.
moveFromLocal	Perintah ini memindahkan file dari sistem file lokal ke LindormDFS.
appendToFile	Menambahkan satu atau beberapa file sumber (`src`) dari sistem file lokal ke file tujuan di LDFS.

Proses Data

Tabel berikut mencantumkan perintah yang biasa digunakan untuk memproses data yang tersimpan di LindormDFS.

Perintah	Deskripsi
cp	Perintah ini menyalin file dari jalur sumber ke jalur tujuan. Anda dapat menjalankan perintah ini untuk menyalin file dari beberapa jalur sumber ke jalur tujuan. Dalam hal ini, jalur tujuan harus berupa direktori.
mv	Perintah ini memindahkan file dari jalur sumber ke jalur tujuan. Anda dapat menjalankan perintah ini untuk menyalin file dari beberapa jalur sumber ke jalur tujuan. Dalam hal ini, jalur tujuan harus berupa direktori. File tidak dapat dipindahkan antara sistem file yang berbeda.
chown	Perintah ini mengubah pemilik satu atau lebih file. Opsi -R secara rekursif membuat perubahan melalui struktur direktori. Pengguna yang menjalankan perintah harus memiliki izin superuser.
chgrp	Perintah ini mengubah grup tempat file milik. Opsi -R secara rekursif membuat perubahan melalui struktur direktori. Pengguna yang menjalankan perintah harus menjadi pemilik file atau superuser.
chmod	Perintah ini mengubah izin pada file. Opsi -R secara rekursif membuat perubahan melalui struktur direktori. Pengguna yang menjalankan perintah harus menjadi pemilik file atau superuser.
mkdir	Mengambil URL jalur sebagai parameter dan membuat folder yang ditentukan. Perilakunya mirip dengan perintah Unix `mkdir -p`, yang membuat folder induk sepanjang jalur.
du	Perintah ini menampilkan ukuran setiap file dalam direktori atau menampilkan ukuran file tertentu.
df	Anda dapat melihat penggunaan file.
cat	Perintah ini menyalin isi file tertentu dalam jalur ke output standar (stdout).
rm	Perintah ini menghapus file tertentu. Anda hanya dapat menghapus direktori dan file yang tidak kosong.
ls	Untuk file, mengembalikan informasi dalam format berikut: `Nama file <Jumlah replika> Ukuran file Tanggal modifikasi Waktu modifikasi Izin ID Pengguna ID Kelompok`. Untuk folder, mengembalikan daftar anak langsungnya, mirip dengan perintah `ls` di Unix. Daftar tersebut berisi informasi dalam format berikut: `Nama folder <dir> Tanggal modifikasi Waktu modifikasi Izin ID Pengguna ID Kelompok` .

Unduh Data

Tabel berikut mencantumkan perintah yang biasa digunakan untuk mengunduh data dari LindormDFS ke penyimpanan lokal.

Perintah	Deskripsi
get	Perintah ini menyalin file dari LindormDFS ke sistem file lokal. Anda dapat menentukan opsi -ignorecrc untuk menyalin file yang gagal dalam pemeriksaan redundansi siklik (CRC). Anda dapat menentukan opsi -crc untuk menyalin file dengan informasi CRC mereka.
getmerge	Perintah ini menerima direktori sumber dan file tujuan sebagai input dan menggabungkan file dalam direktori sumber menjadi file tujuan lokal.
copyToLocal	Perintah ini mirip dengan perintah get. Namun, jalur tujuan yang ditentukan dalam perintah ini harus berupa jalur lokal.

Anda dapat menjalankan perintah help untuk melihat semua perintah yang didukung oleh shell HDFS. Untuk informasi lebih lanjut, lihat Pengenalan shell HDFS Apache.

Contoh

Saat menggunakan kode contoh, ganti ${instance ID} dengan ID instans Lindorm Anda.

Tanyakan semua file dalam direktori tertentu.

${HADOOP_HOME}/bin/hadoop fs -ls hdfs://${Instance ID}/

Unggah file lokal ke LindormDFS.

${HADOOP_HOME}/bin/hadoop fs -put test.txt hdfs://${Instance ID}/

Unduh file ke jalur lokal tertentu.
```
${HADOOP_HOME}/bin/hadoop fs -get hdfs://${Instance ID}/${filename}
```
Dalam perintah ini, ${filename} merepresentasikan nama file yang akan diunduh.
Hapus file.
```
${HADOOP_HOME}/bin/hadoop fs -rm hdfs://${Instance ID}/${filename}
```
Di mana ${filename} adalah nama file yang akan diunduh.
Catatan
Perintah di atas memindahkan file ke folder Trash alih-alih menghapusnya secara permanen. Untuk menghapus file secara permanen, jalankan perintah hadoop fs -expunge untuk mengosongkan Keranjang daur ulang.