Object Storage Service:EMR Hive または Spark から OSS-HDFS にアクセスする

手順

1. EMR クラスターにログインします。詳細については、「クラスターへのログイン」をご参照ください。

2. OSS-HDFS を指す Hive テーブルを作成します。

   1. 次のコマンドを実行して Hive CLI を開きます。

      hive

   2. 次のコマンドを実行して、OSS-HDFS を指すデータベースを作成します。

      CREATE DATABASE if not exists dw LOCATION 'oss://{yourHdfsBucketDomain}/{path}';

      パラメーターの説明：

      • dw: データベース名。この名前はカスタマイズできます。

      • {path}: データベースを格納する OSS-HDFS 内のパス。このパスはカスタマイズできます。

      • {yourHdfsBucketDomain}: OSS-HDFS サービスのバケットドメイン名。

        • ドメイン名を取得するには、OSS コンソールにログインします。対象のバケットに移動します。「概要」タブの [アクセスポート] セクションで、[HDFS サービス] に対応する完全なバケットドメイン名をコピーします。

      説明

      この例では、パスのプレフィックスとして OSS-HDFS ドメイン名を使用します。バケット名のみを使用して OSS-HDFS を指すようにする場合は、バケットレベルのエンドポイントまたはグローバルエンドポイントを設定できます。詳細については、「付録 1: エンドポイントを設定するその他の方法」をご参照ください。

   3. 次のコマンドを実行して、新しいデータベースを使用します。

      use dw;

   4. 次のコマンドを実行して、新しいデータベースに Hive テーブルを作成します。

      CREATE TABLE IF NOT EXISTS employee(eid int, name String,salary String,destination String)
      COMMENT 'Employee details';

3. Hive テーブルにデータを挿入します。
   次の SQL 文を実行して、Hive テーブルにデータを書き込みます。EMR ジョブが生成されます。

   INSERT INTO employee(eid, name, salary, destination) values(1, 'liu hua', '100.0', '');

4. Hive テーブルのデータを確認します。

   SELECT * FROM employee WHERE eid = 1;

   返された情報には、挿入されたデータが含まれています。

   OK
   1       liu hua 100.0
   Time taken: 12.379 seconds, Fetched: 1 row(s)