このトピックでは、OSS および OSS-HDFS にすばやくアクセスする方法について説明します。
前提条件
OSS を有効化します。
バケットを作成します。
OSS にアクセスするために必要な権限があることを確認してください。
新しいコンソールで管理される EMR クラスターには、デフォルトで必要な権限があります。問題が発生した場合は、「サービスロールを承認する」を参照してください。
古いコンソールで管理される EMR クラスターには、デフォルトで必要な権限があります。問題が発生した場合は、「ロールを割り当てる」を参照してください。
EMR 以外の環境で権限を付与するには、「OSS および OSS-HDFS の認可」をご参照ください。
(オプション、推奨) OSS-HDFS を有効化し、OSS-HDFS にアクセスするための権限を付与してください。
「使用方法に関する注意事項」を参照してください。
「OSS-HDFS を有効化」を参照してください。
デプロイ済みの JindoSDK のバージョンを確認してください。
EMR クラスターには、デフォルトで JindoSDK が含まれています。
説明OSS-HDFS にアクセスするには、EMR-3.42.0 以降、または EMR-5.8.0 以降のクラスターを作成する必要があります。
EMR 以外の環境については、「EMR 以外の環境に JindoSDK をデプロイする」を参照してください。
説明OSS-HDFS にアクセスするには、JindoSDK 4.x 以降をデプロイする必要があります。
パス
OSS と OSS-HDFS にアクセスする際の違いは、パス内のエンドポイントのみです。その他の使用方法はすべて同一です。次の表に、両システムのルートパスの例と説明を示します。
ストレージシステム | ルートパスの例 | 説明 |
OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | このパスは、中国 (上海) リージョンの examplebucket という名前の OSS バケットへ、内部エンドポイント経由でアクセスするためのパスです。 説明 この構成では、デフォルトでクロスリージョンアクセスはサポートされません。 |
OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | このパスは、中国 (上海) リージョンの examplebucket という名前の OSS-HDFS 対応バケット用のパスです。 説明 この構成では、デフォルトでクロスリージョンアクセスはサポートされません。 |
アクセス方法
OSS および OSS-HDFS には、Hadoop シェルコマンド、Jindo CLI コマンド、POSIX コマンド、OSS コンソールの 4 つの方法でアクセスできます。
アクセス方法 | 例 | 説明 |
Hadoop シェルコマンド | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoSDK に含まれる JindoOssFileSystem は、Hadoop FileSystem インターフェイスの実装です。Hadoop シェルコマンドを実行すると、クライアントはパス内のエンドポイントを使用して OSS または OSS-HDFS にアクセスします。詳細については、「Hadoop Shell コマンドを使用して OSS または OSS-HDFS にアクセスする」をご参照ください。 |
Jindo CLI コマンド | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Jindo CLI コマンドによる OSS または OSS-HDFS へのアクセスは、Hadoop シェルコマンドの使用と同様です。Jindo CLI は、データアーカイブ、キャッシュ、エラー分析などの追加機能を提供します。詳細については、「Jindo CLI コマンドを使用して OSS または OSS-HDFS にアクセスする」をご参照ください。 |
POSIX コマンド | mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss | JindoFuse は、FUSE API を実装して OSS または OSS-HDFS のパスをローカルディレクトリにマウントします。この設定により、OSS または OSS-HDFS のオブジェクトに、ローカルファイルのようにアクセスできます。詳細については、「POSIX コマンドを使用して OSS または OSS-HDFS にアクセスする」をご参照ください。 |
OSS コンソール | コンソール UI を使用します。詳細は、[説明] 列をご参照ください。 | OSS コンソールでデータを管理するには、次の手順に従います：
|