Hive と HadoopMR を使用してテーブルストアテーブルにアクセスする
Table StoreおよびE-MapReduceがリリースした依存関係パッケージを利用することで、Hive と HadoopMR を使用して Table Store 内のデータに直接アクセスすることができます。
Table Store および E-MapReduce がリリースした依存関係パッケージを利用することで、Hive と HadoopMR を使用して Table Store 内のデータに直接アクセスすることができます。
JDK-7+ のインストール
- JDK-7+ の関連インストールパッケージをダウンロードしてインストールします。
-
Linux /MacOS は、パッケージインストールマネージャーを使用してください。
-
Windows は、クリックしてダウンロードしてください。
-
- 以下のようにインストール状況を確認してください。
$ java -version java version "1.8.0_77" Java(TM) SE Runtime Environment (build 1.8.0_77-b03) Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
Hadoop のインストール
- Hadoop をダウンロード (バージョン 2.6.0 以降)
- インストールパッケージを解凍し、クラスターに Hadoop をインストールします。
- 以下のように Hadoop を実行します。
$ bin/start-all.sh # Check the hadoop service $ jps 24017 NameNode 24835 Jps 24131 DataNode 24438 ResourceManager 5114 HMaster 24287 SecondaryNameNode 24527 NodeManager
- Hadoop のパスを
/etc/profile
に追加します。 設定を有効にするために、"source /etc/profile"
を実行します。export HADOOP_HOME=/data/hadoop/hadoop-2.6.0 export PATH=$PATH:$HADOOP_HOME/bin
Hive のインストール
- bin.tar.gz タイプのHive をダウンロードします。
- 次のようにインストールパッケージを解凍します。
$ mkdir /home/admin/hive-2.1.0 $ tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /home/admin/ $ mv /home/admin/apache-hive-2.1.0-bin /home/admin/hive-2.1.0/
- 次のようにスキーマを初期化します。
# Enter the specified directory $ cd /home/admin/hive-2.1.0/ # Initialization, Derby can be replaced directly with mysql if it is MySQL # If an error occurs, you can delete it by running rm -rf metastore_db/ and execute again. $ ./bin/schematool -initSchema -dbType derby
- 次のように Hive を実行します。
$ ./bin/hive # check hive hive> show databases; OK default Time taken: 0.207 seconds, Fetched: 1 row(s)
Table Store 用の Java SDK のダウンロード
EMR 依存パッケージのダウンロード
- Alibaba Cloud EMR 依存関係パッケージをダウンロードします。
注 EMR の詳細については、こちらをクリックしてください。
- emr-sdk_2.10-1.3.0-20161025.065936-1.jar ファイルの名前を変更します。
mv emr-sdk_2.10-1.3.0-20161025.065936-1.jar /home/admin/hive-2.1.0/emr-sdk_2.10-1.3.0-SNAPSHOT.jar