このトピックでは、Jindo CLI コマンドを使用してオブジェクトストレージサービス(OSS)および OSS-HDFS にアクセスする方法について説明します。
環境の準備
- E-MapReduce(EMR)環境では、JindoSDK がデフォルトでインストールされており、直接使用できます。説明 OSS-HDFS にアクセスするには、EMR V-3.44.0 以降のマイナーバージョンのクラスター、または EMR V5.10.0 以降のマイナーバージョンのクラスターを作成する必要があります。
- EMR 以外の環境では、最初に JindoSDK をインストールします。詳細については、EMR 以外の環境に JindoSDK をデプロイする をご参照ください。説明 OSS-HDFS にアクセスするには、JindoSDK V4.6.X 以降をインストールする必要があります。
コマンドと例
Jindo CLI コマンドを使用して、OSS および OSS-HDFS に同じ方法でアクセスできます。違いはパスのエンドポイントにあります。
- ファイルをアップロードする次のコマンドを実行して、ローカルルートディレクトリの examplefile.txt という名前のファイルを、OSS-HDFS の examplebucket という名前のバケットにアップロードします。
jindo fs -put examplefile.txt oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ - ディレクトリを作成する次のコマンドを実行して、OSS-HDFS の examplebucket という名前のバケットに dir/ という名前のディレクトリを作成します。
jindo fs -mkdir oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/dir/ - ファイルまたはディレクトリを照会する次のコマンドを実行して、OSS-HDFS の examplebucket という名前のバケット内のファイルとディレクトリを照会します。
jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ - ファイルまたはディレクトリのサイズを照会する次のコマンドを実行して、OSS-HDFS の examplebucket という名前のバケット内のすべてのファイルとディレクトリのサイズを照会します。
jindo fs -du oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ - ファイルの内容を照会する次のコマンドを実行して、OSS-HDFS の examplebucket という名前のバケット内の localfile.txt という名前のファイルの内容を照会します。
jindo fs -cat oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/localfile.txt重要 照会されたファイルの内容はプレーンテキストで表示されます。コンテンツがエンコードされている場合は、Java 用 HDFS API を使用してコンテンツを読み取り、デコードします。 - ファイルをダウンロードする次のコマンドを実行して、OSS-HDFS の examplebucket という名前のバケットから exampleobject.txt という名前のファイルを、コンピューターのルートディレクトリの /tmp という名前のディレクトリにダウンロードします。
jindo fs -get oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt /tmp/ - ファイルまたはディレクトリを削除する次のコマンドを実行して、OSS-HDFS の examplebucket という名前のバケットから destfolder/ という名前のディレクトリと、そのディレクトリ内のすべてのファイルを削除します。
jindo fs -rm oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/destfolder/
コマンドとその説明の詳細については、Jindo CLI の使用 をご参照ください。