CDH (Cloudera's Distribution including Apache Hadoop) は、Hadoop の一般的なディストリビューションです。 CDH 6.0.1 (Hadoop 3.0.0 を含む) のような新しいバージョンは OSS をネイティブにサポートしていますが、CDH 5 (Hadoop 2.6 を含む) のような古いバージョンはサポートしていません。 このトピックでは、OSS のデータを読み書きするために CDH 5 クラスターを設定する方法について説明します。
前提条件
実行中の CDH 5 クラスターが必要です。 このトピックでは、CDH 5.14.4 を例として使用します。 CDH 5 クラスターの設定方法については、「公式ドキュメント」をご参照ください。
背景情報
CDH 5 は、その Resource Manager の要件に従い、古いバージョンの httpclient および httpcore ライブラリ (バージョン 4.2.5) を使用します。 しかし、OSS SDK はこれらのライブラリの新しいバージョンを必要とします。 このトピックでは、この依存関係の競合を解決するための回避策を説明します。
ステップ 1: OSS 設定の追加
CDH クラスター内のすべてのノードで、次の手順を実行します。
${CDH_HOME}にある CDH 5 のインストール先のディレクトリ構造を確認します。[root@cdh-master CDH-5.14.4-1.cdh5.14.4.p0.3]# ls -lh total 100K drwxr-xr-x 2 root root 4.0K Jun 12 21:03 bin drwxr-xr-x 27 root root 4.0K Jun 12 20:57 etc drwxr-xr-x 5 root root 4.0K Jun 12 20:57 include drwxr-xr-x 2 root root 68K Jun 12 21:09 jars drwxr-xr-x 38 root root 4.0K Jun 12 21:03 lib drwxr-xr-x 3 root root 4.0K Jun 12 20:57 lib64 drwxr-xr-x 3 root root 4.0K Jun 12 20:51 libexec drwxr-xr-x 2 root root 4.0K Jun 12 21:02 meta drwxr-xr-x 4 root root 4.0K Jun 12 21:03 share説明このトピックでは、
${}で囲まれた項目は環境変数です。 お使いの環境に合わせて適切な値に置き換えてください。CDH 5.14.4 用の OSS サポートパッケージを、CDH 5 インストールディレクトリの
jarsフォルダーにダウンロードします。このパッケージは CDH 5.14.4 の Hadoop バージョンに基づいてコンパイルされており、OSS をサポートするために必要なパッチが含まれています。 他の CDH バージョン用のパッケージは、次のリンクからダウンロードできます。
パッケージを展開します。
[root@cdh-master CDH-5.14.4-1.cdh5.14.4.p0.3]# tar -tvf hadoop-oss-cdh-5.14.4.tar.gz drwxr-xr-x root/root 0 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/ -rw-r--r-- root/root 13277 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-sts-3.0.0.jar -rw-r--r-- root/root 326724 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/httpcore-4.4.4.jar -rw-r--r-- root/root 524927 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-sdk-oss-3.4.1.jar -rw-r--r-- root/root 116337 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-core-3.4.0.jar -rw-r--r-- root/root 215492 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-ram-3.0.0.jar -rw-r--r-- root/root 788137 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-ecs-4.2.0.jar -rw-r--r-- root/root 70017 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/hadoop-aliyun-2.6.0-cdh5.14.4.jar -rw-r--r-- root/root 736658 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/httpclient-4.5.2.jar${CDH_HOME}/lib/hadoopディレクトリに移動し、次のコマンドを実行します。[root@cdh-master hadoop]# rm -f lib/httpclient-4.2.5.jar [root@cdh-master hadoop]# rm -f lib/httpcore-4.2.5.jar [root@cdh-master hadoop]# ln -s ../../jars/hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun-2.6.0-cdh5.14.4.jar [root@cdh-master hadoop]# ln -s hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar [root@cdh-master hadoop]# cd lib [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-core-3.4.0.jar aliyun-java-sdk-core-3.4.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ecs-4.2.0.jar aliyun-java-sdk-ecs-4.2.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ram-3.0.0.jar aliyun-java-sdk-ram-3.0.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-sts-3.0.0.jar aliyun-java-sdk-sts-3.0.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-sdk-oss-3.4.1.jar aliyun-sdk-oss-3.4.1.jar [root@cdh-master lib]# ln -s ../../../jars/httpclient-4.5.2.jar httpclient-4.5.2.jar [root@cdh-master lib]# ln -s ../../../jars/httpcore-4.4.4.jar httpcore-4.4.4.jar [root@cdh-master lib]# ln -s ../../../jars/jdom-1.1.jar jdom-1.1.jar${CDH_HOME}/lib/hadoop-yarn/bin/yarn
CLASSPATH=${CLASSPATH}:$HADOOP_YARN_HOME/${YARN_DIR}/* CLASSPATH=${CLASSPATH}:$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*CLASSPATH=$HADOOP_YARN_HOME/${YARN_DIR}/*:${CLASSPATH}CLASSPATH=$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*:${CLASSPATH}Resource Manager がデプロイされているノードで、指定のディレクトリに移動してスクリプトを開き、最初のコードを 2 番目のコードに置き換えます。Resource Manager がデプロイされているノードで、
${CDH_HOME}/lib/hadoop-yarn/libディレクトリに移動します。[root@cdh-master lib]#Cloudera Manager を使用して、必要な設定を追加します。
クラスターが Cloudera Manager で管理されていない場合は、
core-site.xmlファイルを直接変更できます。 Cloudera Manager で、HDFS サービスの [core-site.xml のクラスター全体の高度な設定スニペット (安全バルブ)] ページに移動し、OSS 関連のパラメーターを追加します。パラメーター
値
fs.oss.endpoint
OSS の接続エンドポイント。
たとえば、China (Hangzhou) リージョンのエンドポイントは
oss-cn-hangzhou.aliyuncs.comfs.oss.accessKeyId
ご自身の AccessKey ID。 AccessKey ペアの取得方法については、「AccessKey ペアの作成」をご参照ください。
fs.oss.accessKeySecret
ご自身の AccessKey Secret。 AccessKey ペアの取得方法については、「AccessKey ペアの作成」をご参照ください。
fs.oss.impl
Hadoop OSS ファイルシステムの実装クラス。 これを
org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystemfs.oss.buffer.dir
一時ファイルディレクトリ。
推奨値：
/tmp/ossfs.oss.connection.secure.enabled
HTTPS を有効にするかどうかを指定します。 HTTPS を有効にすると、パフォーマンスに影響する可能性があります。
推奨値： false
fs.oss.connection.maximum
OSS への最大接続数。
推奨値： 2048
パラメーターの詳細については、「Hadoop-Aliyun モジュール」をご参照ください。
Cloudera Manager のプロンプトに従ってクラスターを再起動します。
OSS の読み書きをテストします。
データの読み取りテスト：
hadoop fs -ls oss://${your-bucket-name}/データの書き込みテスト：
hadoop fs -mkdir oss://${your-bucket-name}/hadoop-testOSS の読み書きが可能な場合、設定は成功です。 そうでない場合は、設定を見直してください。
ステップ 2: OSS をサポートするための Impala の設定
Impala は HDFS に保存されているデータを直接クエリできます。 CDH 5 クラスターで OSS サポートを有効にした後、Impala を使用して OSS 内のデータをクエリすることもできます。 OSS SDK は新しいバージョンの httpclient および httpcore ライブラリを必要とするため、Impala がデプロイされているすべてのノードで次の手順を実行します。
${CDH_HOME}/lib/impala/libディレクトリに移動し、次のコマンドを実行します。[root@cdh-master lib]# rm -f httpclient-4.2.5.jar httpcore-4.2.5.jar [root@cdh-master lib]# ln -s ../../../jars/httpclient-4.5.2.jar httpclient-4.5.2.jar [root@cdh-master lib]# ln -s ../../../jars/httpcore-4.4.4.jar httpcore-4.4.4.jar [root@cdh-master lib]# ln -s ../../../jars/hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-core-3.4.0.jar aliyun-java-sdk-core-3.4.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ecs-4.2.0.jar aliyun-java-sdk-ecs-4.2.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ram-3.0.0.jar aliyun-java-sdk-ram-3.0.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-sts-3.0.0.jar aliyun-java-sdk-sts-3.0.0.jar [root@cdh-master lib]# ln -s ../../../jars/aliyun-sdk-oss-3.4.1.jar aliyun-sdk-oss-3.4.1.jar [root@cdh-master lib]# ln -s ../../../jars/jdom-1.1.jar jdom-1.1.jar${CDH_HOME}/binディレクトリに移動します。impalad、statestored、およびcatalogdスクリプトを変更します。 各ファイルで、最後のexecコマンドの前に次の行を追加します。export CLASSPATH=$CLASSPATH:${IMPALA_HOME}/lib/httpclient-4.5.2.jar:${IMPALA_HOME}/lib/httpcore-4.4.4.jar:${IMPALA_HOME}/lib/hadoop-aliyun.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-core-3.4.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ecs-4.2.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ram-3.0.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-sts-3.0.0.jar:${IMPALA_HOME}/lib/aliyun-sdk-oss-3.4.1.jar:${IMPALA_HOME}/lib/jdom-1.1.jarすべてのノードで、Impala 関連のすべてのプロセスを再起動します。
再起動後、Impala を使用して OSS 内のデータをクエリできます。
設定の確認
たとえば、OSS に保存されている call_center という名前の TPC-DS ベンチマークテーブルを考えます。 このデータを指す外部テーブルを作成し、クエリを実行して cc_country でグループ化されたレコードをカウントできます。
[root@cdh-master ~]# impala-shell -i cdh-slave01:21000
Starting Impala Shell without Kerberos authentication
Connected to cdh-slave01:21000
Server version: impalad version 2.11.0-cdh5.14.4 RELEASE (build20e635646a13347800fad36a7d0b1da25ab32404)
***********************************************************************************
Welcome to the Impala shell.
(Impala Shell v2.11.0-cdh5.14.4 (20e6356) built on Tue Jun 12 03:43:08 PDT 2018)
The HISTORY command lists all shell commands in chronological order.
***********************************************************************************
[cdh-slave01:21000] > DROP TABLE IF EXISTS call_center;
Query: DROP TABLE IF EXISTS call_center
[cdh-slave01:21000] >
[cdh-slave01:21000] > CREATE EXTERNAL TABLE call_center(
> cc_call_center_sk bigint
> , cc_call_center_id string
> , cc_rec_start_date string
> , cc_rec_end_date string
> , cc_closed_date_sk bigint
> , cc_open_date_sk bigint
> , cc_name string
> , cc_class string
> , cc_employees int
> , cc_sq_ft int
> , cc_hours string
> , cc_manager string
> , cc_mkt_id int
> , cc_mkt_class string
> , cc_mkt_desc string
> , cc_market_manager string
> , cc_division int
> , cc_division_name string
> , cc_company int
> , cc_company_name string
> , cc_street_number string
> , cc_street_name string
> , cc_street_type string
> , cc_suite_number string
> , cc_city string
> , cc_county string
> , cc_state string
> , cc_zip string
> , cc_country string
> , cc_gmt_offset double
> , cc_tax_percentage double
> )
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
> location 'oss://${your-bucket-name}/call_center';
Query: CREATE EXTERNAL TABLE call_center(
cc_call_center_sk bigint
, cc_call_center_id string
, cc_rec_start_date string
, cc_rec_end_date string
, cc_closed_date_sk bigint
, cc_open_date_sk bigint
, cc_name string
, cc_class string
, cc_employees int
, cc_sq_ft int
, cc_hours string
, cc_manager string
, cc_mkt_id int
, cc_mkt_class string
, cc_mkt_desc string
, cc_market_manager string
, cc_division int
, cc_division_name string
, cc_company int
, cc_company_name string
, cc_street_number string
, cc_street_name string
, cc_street_type string
, cc_suite_number string
, cc_city string
, cc_county string
, cc_state string
, cc_zip string
, cc_country string
, cc_gmt_offset double
, cc_tax_percentage double
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
location 'oss://${your-bucket-name}/call_center'
Fetched 0 row(s) in 0.07s
[cdh-slave01:21000] > select cc_country, count(*) from call_center GROUP BY cc_country;
Query: select cc_country, count(*) from call_center GROUP BY cc_country
Query submitted at: 2018-10-28 16:21:13 (Coordinator: http://cdh-slave01:25000)
Query progress can be monitored at: http://cdh-slave01:25000/query_plan?query_id=fb4e09977145f367:3bdfe4d600000000
+---------------+----------+
| cc_country | count(*) |
+---------------+----------+
| United States | 30 |
+---------------+----------+
Fetched 1 row(s) in 4.71s