OSS-HDFS, belirli Alibaba Cloud E-MapReduce (EMR) küme sürümlerine entegredir. Bu konu, EMR kümelerinin OSS-HDFS'ye nasıl bağlanacağını ve temel işlemlerin nasıl yapılacağını açıklar.
Kendi yönettiğiniz bir Hadoop kümesi kullanıyorsanız, bu kümeyi OSS-HDFS'ye, EMR dışı kümelerin bağlanma yöntemiyle aynı şekilde bağlayın. Daha fazla bilgi için bkz. Hızlı başlangıç: EMR dışı bir kümeyi OSS-HDFS hizmetine bağlama.
Ön koşullar
Bir paket için OSS-HDFS etkinleştirilmiş ve bir RAM rolüne OSS-HDFS'ye erişim izinleri verilmiştir. Daha fazla bilgi için bkz. OSS-HDFS'yi etkinleştirme ve erişim izinleri verme.
Varsayılan olarak, bir Alibaba Cloud hesabı EMR kümelerini OSS-HDFS'ye bağlamak ve OSS-HDFS ile ilgili temel işlemleri yapmak için gerekli izinlere sahiptir. Gerekli izinlere sahip bir RAM kullanıcısı oluşturulmuştur. EMR kümelerini OSS-HDFS'ye bağlamak için bir RAM kullanıcısı kullanmak istiyorsanız, bu kullanıcının gerekli izinlere sahip olması gerekir. Daha fazla bilgi için bkz. RAM kullanıcısına EMR kümelerini OSS-HDFS'ye bağlama izni verme.
Yordam
-
E-MapReduce konsolunda oturum açın. Sol gezinme bölmesinde EMR on ECS seçeneğine tıklayın ve bir EMR kümesi oluşturun.
EMR kümesini oluştururken Product Version değerinin EMR-3.46.2 veya sonraki bir sürüm, ya da EMR-5.12.2 veya sonraki bir sürüm olduğundan ve Root Storage Directory of Cluster değerinin OSS-HDFS etkinleştirilmiş bir pakete ayarlandığından emin olun. Diğer parametreler için varsayılan değerleri kullanın. Ayrıntılar için bkz. Küme oluşturma.
-
EMR kümesinde oturum açın.
Oluşturulan EMR kümesine tıklayın.
Nodes sekmesine tıklayın ve ardından düğüm grubunun solundaki
simgesine tıklayın.-
ECS ID değerine tıklayın. ECS örnek sayfasında, örnek kimliğinin yanındaki Connect seçeneğine tıklayın ve örnekte oturum açmak için varsayılan yöntemi (Workbench) seçin.
Windows veya Linux'ta bir SSH anahtar çifti veya SSH parolası kullanarak kümeye nasıl bağlanılacağı hakkında daha fazla bilgi için bkz. Kümeye bağlanma.
-
OSS-HDFS ile ilgili temel işlemleri yapmak için HDFS Shell komutlarını çalıştırın.
-
Yerel dosyaları yükleme
Yerel kök dizindeki examplefile.txt adlı yerel bir dosyayı examplebucket adlı bir pakete yüklemek için aşağıdaki komutu çalıştırın:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/ -
Nesneleri indirme
examplebucket adlı bir paketten exampleobject.txt adlı bir nesneyi bilgisayarınızdaki /tmp adlı kök dizine indirmek için aşağıdaki komutu çalıştırın:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
Daha fazla bilgi için bkz. Hadoop Shell komutlarını kullanarak OSS-HDFS'ye erişme.
-