準備 - Tablestore - Alibaba Cloud ドキュメントセンター

Hive または HadoopMR を使用して Tablestore のテーブルにアクセスする前に、Java 開発キット (JDK)、Hadoop、Hive、Tablestore SDK for Java、および Alibaba Cloud E-MapReduce (EMR) SDK をインストールする必要があります。

Hive と HadoopMR を使用して Tablestore テーブルにアクセスする

Tablestore と E-MapReduce の公式チームによってリリースされた依存関係パッケージを使用することで、Hive と HadoopMR を使用して Tablestore のデータに直接アクセスし、分析できます。

JDK V7 以降をインストールする

JDK V7 以降のインストールパッケージをダウンロードします。
- Linux または macOS：システムに組み込まれているパッケージマネージャーを使用します。
- Windows：ダウンロードパスについては、「Java SE Development Kit 8 ダウンロード」をご覧ください。

例に従ってインストールを確認します。

$ java -version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

Hadoop をインストールし、Hadoop 環境を起動する

バージョン 2.6.0 以降の Hadoop インストールパッケージをダウンロードします。詳細については、「Hadoop インストールパッケージ」をご覧ください。
パッケージを解凍し、クラスターの条件に基づいて Hadoop をインストールします。

例に従って Hadoop 環境を起動します。

$ bin/start-all.sh
# サービスが開始されているかどうかを確認します。
$ jps
24017 NameNode
24835 Jps
24131 DataNode
24438 ResourceManager
5114 HMaster
24287 SecondaryNameNode
24527 NodeManager

/etc/profile に Hadoop のパスを追加します。source /etc/profile コマンドを実行して、構成を有効にします。
```
export HADOOP_HOME=/data/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin                  
```

Hive インストールパッケージをダウンロードし、Hive をインストールする

bin.tar.gz タイプの Hive インストールパッケージをダウンロードします。ダウンロードパスの詳細については、「ダウンロード」をご覧ください。

例に従ってインストールパッケージを解凍します。

mkdir -p /home/admin/hive-2.1.0
tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /home/admin/
mv /home/admin/apache-hive-2.1.0-bin /home/admin/hive-2.1.0/

例に従ってスキーマを初期化します。

# 指定されたディレクトリに移動します。
cd /home/admin/hive-2.1.0/apache-hive-2.1.0-bin
# 初期化を開始します。MySQL の場合は、コマンドの derby を mysql に置き換えます。
# 実行プロセスでエラーが発生した場合は、rm -rf metastore_db/ コマンドを実行して metastore_db/ ディレクトリを削除してから、コードを再度実行します。
./bin/schematool -initSchema -dbType derby

例に従って Hive 環境を起動します。

./bin/hive
# サービスが開始されているかどうかを確認します。
hive> show databases;
OK
default
Time taken: 0.207 seconds, Fetched: 1 row(s)

Tablestore SDK for Java をダウンロードする

Maven ライブラリから、バージョン 4.1.0 以降の Java SDK の関連依存パッケージをダウンロードします。ダウンロードパスの詳細については、「Tablestore SDK for Java のバージョン履歴」を参照してください。
Java SDK の関連依存パッケージは、最新の Java SDK とともにリリースされます。最新の関連依存パッケージをダウンロードしてください。

例に従って SDK を Hive のディレクトリにコピーします。

mv tablestore-4.1.0-jar-with-dependencies.jar /home/admin/hive-2.1.0/

Alibaba Cloud EMR SDK をダウンロードする

EMR SDK の依存関係パッケージをダウンロードします。具体的なダウンロードパスの詳細については、「aliyun-emapreduce-datasources」をご覧ください。