OSS-HDFS etkinleştirilmiş bir pakette yükleme, indirme ve silme gibi işlemleri gerçekleştirmek için Jindo CLI komutlarını kullanabilirsiniz.
Ortam hazırlığı
OSS-HDFS'e erişmek için aşağıdaki yöntemlerden birini kullanabilirsiniz:
Bir Alibaba Cloud EMR kümesi kullanarak OSS-HDFS'e erişmek istiyorsanız sürümü 3.44.0 veya üzeri ya da 5.10.0 veya üzeri olan bir EMR kümesinin oluşturulduğundan emin olun. Sürüm gereksinimlerini karşılayan EMR kümeleri, JindoSDK ile varsayılan olarak tümleşiktir. Daha fazla bilgi için bkz. Küme oluşturma.
EMR dışı bir ortamda önce JindoSDK'yı yükleyin. Daha fazla bilgi için bkz. EMR dışı bir ortamda JindoSDK'yı dağıtma.
Yordam
-
Ortam değişkenlerini yapılandırın.
Bir Alibaba Cloud EMR kümesi kullanarak OSS-HDFS'e erişmek istiyorsanız bu adımı atlayıp 2. Adım ile devam edin.
-
Alibaba Cloud EMR kümesi olmayan bir ortam kullanarak OSS-HDFS'e erişmek istiyorsanız aşağıdaki adımları uygulayın:
Bir ECS örneğine bağlanın. Daha fazla bilgi için bkz. ECS örneğine bağlanma.
-
Yüklenen JindoSDK JAR paketinin bin dizinine gidin.
cd jindosdk-x.x.x/bin/Notx.x.x, JindoSDK JAR paketinin sürüm numarasını gösterir.
-
jindosdk.cfgadlı bir yapılandırma dosyası oluşturun ve ardından aşağıdaki parametreleri yapılandırma dosyasına ekleyin.[common] Retain the following default configurations. logger.dir = /tmp/jindo/ logger.sync = false logger.consolelogger = false logger.level = 0 logger.verbose = 0 logger.cleaner.enable = true hadoopConf.enable = false [jindosdk] Specify the following parameters. <!-- In this example, the China (Hangzhou) region is used. Specify your actual region. --> fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com <! -- Configure the AccessKey ID and AccessKey secret that is used to access OSS-HDFS. --> fs.oss.accessKeyId = yourAccessKeyId fs.oss.accessKeySecret = yourAccessKeySecret -
Ortam değişkenlerini yapılandırın.
export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR><JINDOSDK_CONF_DIR> değerini
jindosdk.cfgyapılandırma dosyasının mutlak yolu olarak ayarlayın.
OSS-HDFS'e erişmek için Jindo CLI komutlarını kullanın.
-
Nesne yükleme
Yerel kök dizindeki examplefile.txt adlı yerel dosyayı examplebucket adlı bir pakete yüklemek için aşağıdaki komutu çalıştırın:
./jindo fs -put examplefile.txt oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ -
Dizin oluşturma
examplebucket adlı bir pakette dir/ adlı bir dizin oluşturmak için aşağıdaki komutu çalıştırın:
./jindo fs -mkdir oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/dir/ -
Nesneleri veya dizinleri sorgulama
examplebucket adlı bir paketteki nesneleri veya dizinleri sorgulamak için aşağıdaki komutu çalıştırın:
./jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ -
Nesnelerin veya dizinlerin boyutlarını sorgulama
examplebucket adlı bir paketteki tüm nesnelerin veya dizinlerin boyutlarını sorgulamak için aşağıdaki komutu çalıştırın:
./jindo fs -du oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ -
Bir nesnenin içeriğini sorgulama
examplebucket adlı bir paketteki localfile.txt adlı bir nesnenin içeriğini sorgulamak için aşağıdaki komutu çalıştırın:
./jindo fs -cat oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/localfile.txtÖnemliDosya içeriği kodlanmışsa okuyup kodunu çözmek için Java için HDFS API'sini kullanın.
-catkomutu kodlanmış içeriğin kodunu çözmez. -
Nesne indirme
examplebucket adlı bir paketten exampleobject.txt adlı bir nesneyi bilgisayarınızın kök dizinindeki /tmp dizinine indirmek için aşağıdaki komutu çalıştırın:
./jindo fs -get oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt /tmp/ -
Dizinleri veya nesneleri silme
examplebucket adlı bir paketten destfolder/ adlı bir dizini ve dizindeki tüm nesneleri silmek için aşağıdaki komutu çalıştırın:
./jindo fs -rm -r oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/destfolder/