このトピックでは、Alibaba Cloud Object Storage Service (OSS) または OSS-HDFS を使い始める方法について説明します。
前提条件
OSS がアクティブ化されていること。詳細については、「OSS のアクティブ化」をご参照ください。
OSS バケットが作成されていること。詳細については、「バケットの作成」をご参照ください。
アカウントに OSS にアクセスするための権限が付与されていること。
新しい EMR コンソールで E-MapReduce (EMR) クラスタを使用する場合、デフォルトでアカウントに必要な権限が付与されます。詳細については、「Alibaba Cloud アカウントへのロールの割り当て」をご参照ください。
古い EMR コンソールで EMR クラスタを使用する場合、デフォルトでアカウントに必要な権限が付与されます。詳細については、「Alibaba Cloud アカウントへのロールの割り当て」をご参照ください。
EMR クラスタを使用しないユーザーに必要な権限を付与する方法については、「OSS または OSS-HDFS へのアクセスの許可」をご参照ください。
(オプション) OSS-HDFS がアクティブ化されており、OSS-HDFS にアクセスするための権限が付与されていること。OSS-HDFS をアクティブ化することをお勧めします。
JindoSDK がデプロイされていること。
EMR クラスタでは、JindoSDK は自動的にデプロイされます。
説明OSS-HDFS にアクセスするには、EMR V3.42.0 以降のマイナーバージョンのクラスタ、または EMR V5.8.0 以降のマイナーバージョンのクラスタを作成する必要があります。
EMR クラスタを使用しない場合は、JindoSDK を手動でデプロイする必要があります。詳細については、「EMR 以外の環境への JindoSDK のデプロイ」をご参照ください。
説明OSS-HDFS にアクセスするには、JindoSDK 4.X 以降をデプロイする必要があります。
パスの説明
OSS と OSS-HDFS にアクセスするために使用できる方法は同じです。ただし、アクセスパスのエンドポイントは異なります。次の表に、アクセスパスの例を示します。
ストレージシステム | ルートパスの例 | 説明 |
OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | examplebucket という名前の OSS バケットが中国 (上海) リージョンに作成されています。内部エンドポイントを使用して OSS バケットにアクセスできます。 説明 EMR クラスタのノードにパブリック IP アドレスを割り当てていない場合、パブリックエンドポイントを使用して OSS にアクセスすることはできません。これは、リージョンをまたいで OSS にアクセスできないことを意味します。 |
OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | examplebucket という名前の OSS-HDFS バケットが中国 (上海) リージョンに作成されています。 説明 プライベート IP アドレスを使用してのみ OSS-HDFS にアクセスできます。これは、リージョンをまたいで OSS-HDFS にアクセスできないことを意味します。 |
アクセス方法
OSS コンソールで、または Hadoop Shell コマンド、Jindo CLI コマンド、Portable Operating System Interface (POSIX) コマンドを実行することで、OSS または OSS-HDFS にアクセスできます。次の表に、アクセス方法を示します。
アクセス方法 | 例 | 説明 |
Hadoop Shell コマンド | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoSDK の JindoOssFileSystem は、Hadoop FileSystem の実装です。Hadoop Shell コマンドを実行すると、パス内のエンドポイントを使用して OSS または OSS-HDFS にアクセスします。詳細については、「Hadoop Shell コマンドを使用した OSS または OSS-HDFS へのアクセス」をご参照ください。 |
Jindo CLI コマンド | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Hadoop Shell コマンドを実行するのと同じ方法で、Jindo CLI コマンドを実行して OSS または OSS-HDFS にアクセスできます。また、Jindo CLI コマンドを実行して、アーカイブ、キャッシュ、エラー分析などの他の操作を実行することもできます。詳細については、「Jindo CLI コマンドを使用した OSS または OSS-HDFS へのアクセス」をご参照ください。 |
POSIX コマンド | mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss | JindoFuse は、FUSE API を呼び出すことにより、OSS または OSS-HDFS のパスをオンプレミスパスにアタッチできます。これにより、オンプレミスファイルにアクセスするのと同じ方法で OSS または OSS-HDFS にアクセスできます。詳細については、「POSIX コマンドを使用した OSS または OSS-HDFS へのアクセス」をご参照ください。 |
OSS コンソール |
| OSS または OSS_HDFS にアクセスするには、次の操作を実行します。
|
