Hive と HadoopMR を使用してテーブルストアテーブルにアクセスする

Table StoreおよびE-MapReduceがリリースした依存関係パッケージを利用することで、Hive と HadoopMR を使用して Table Store 内のデータに直接アクセスすることができます。

Table Store および E-MapReduce がリリースした依存関係パッケージを利用することで、Hive と HadoopMR を使用して Table Store 内のデータに直接アクセスすることができます。

JDK-7+ のインストール

  1. JDK-7+ の関連インストールパッケージをダウンロードしてインストールします。
  2. 以下のようにインストール状況を確認してください。
        $ java -version
        java version "1.8.0_77"
        Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
        Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
    					

Hadoop のインストール

  1. Hadoop をダウンロード (バージョン 2.6.0 以降)
  2. インストールパッケージを解凍し、クラスターに Hadoop をインストールします。
  3. 以下のように Hadoop を実行します。
    $ bin/start-all.sh
    # Check the hadoop service
    $ jps
    24017 NameNode
    24835 Jps
    24131 DataNode
    24438 ResourceManager
    5114 HMaster
    24287 SecondaryNameNode
    24527 NodeManager
    					
  4. Hadoop のパスを /etc/profile に追加します。 設定を有効にするために、 "source /etc/profile" を実行します。
    export HADOOP_HOME=/data/hadoop/hadoop-2.6.0
    export PATH=$PATH:$HADOOP_HOME/bin
    					

Hive のインストール

  1. bin.tar.gz タイプのHive をダウンロードします。
  2. 次のようにインストールパッケージを解凍します。
    $ mkdir /home/admin/hive-2.1.0
    $ tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /home/admin/
    $ mv /home/admin/apache-hive-2.1.0-bin /home/admin/hive-2.1.0/
    					
  3. 次のようにスキーマを初期化します。
        # Enter the specified directory
        $ cd /home/admin/hive-2.1.0/
    
        # Initialization, Derby can be replaced directly with mysql if it is MySQL
        # If an error occurs, you can delete it by running rm -rf metastore_db/ and execute again.
        $ ./bin/schematool -initSchema -dbType derby
    					
  4. 次のように Hive を実行します。
    $ ./bin/hive
    # check hive
    hive> show databases;
    OK
    default
    Time taken: 0.207 seconds, Fetched: 1 row(s)
    					

Table Store 用の Java SDK のダウンロード

  1. Java SDK依存関係パッケージ (バージョン 4.1.0 以降) をダウンロードします。
    SDK 依存関係パッケージは Java SDKで更新されます。 最新の Java SDK に従って依存パッケージをダウンロードしてください。
  2. 次のように SDK を Hive ディレクトリにコピーします。
    $ mv tablestore-4.1.0-jar-with-dependencies.jar /home/admin/hive-2.1.0/
    					

EMR 依存パッケージのダウンロード

  1. Alibaba Cloud EMR 依存関係パッケージをダウンロードします。
    EMR の詳細については、こちらをクリックしてください。
  2. emr-sdk_2.10-1.3.0-20161025.065936-1.jar ファイルの名前を変更します。
    mv emr-sdk_2.10-1.3.0-20161025.065936-1.jar /home/admin/hive-2.1.0/emr-sdk_2.10-1.3.0-SNAPSHOT.jar