すべてのプロダクト
Search

このプロダクト

    Object Storage Service:CDH 5 Hadoop で OSS を読み書きする

    ドキュメントセンター

    Object Storage Service:CDH 5 Hadoop で OSS を読み書きする

    最終更新日:Jun 21, 2026

    CDH (Cloudera's Distribution including Apache Hadoop) は、Hadoop の一般的なディストリビューションです。CDH 6.0.1 (Hadoop 3.0.0) などの新しいバージョンでは OSS がネイティブにサポートされていますが、CDH 5 (Hadoop 2.6) などの旧バージョンではサポートされていません。このトピックでは、CDH 5 クラスターを構成して、OSS からデータを読み取り、OSS にデータを書き込む方法について説明します。

    前提条件

    CDH 5 クラスターが実行されていること。このトピックでは、CDH 5.14.4 を例として使用します。CDH 5 クラスターのセットアップ方法については、公式ドキュメントをご参照ください。

    背景情報

    CDH 5 では、リソースマネージャーで必要となる古いバージョンの httpclient および httpcore ライブラリ (バージョン 4.2.5) が使用されています。一方、OSS SDK では、これらのライブラリの新しいバージョンが必要です。このトピックでは、この依存関係の競合を解決するための回避策を提供します。

    ステップ 1: OSS 構成の追加

    CDH クラスター内のすべてのノードで次の手順を実行します。

    1. ${CDH_HOME} にある CDH 5 インストールのディレクトリ構造を確認します。 
      [root@cdh-master CDH-5.14.4-1.cdh5.14.4.p0.3]# ls -lh
total 100K
drwxr-xr-x  2 root root 4.0K Jun  12 21:03 bin
drwxr-xr-x 27 root root 4.0K Jun  12 20:57 etc
drwxr-xr-x  5 root root 4.0K Jun  12 20:57 include
drwxr-xr-x  2 root root  68K Jun  12 21:09 jars
drwxr-xr-x 38 root root 4.0K Jun  12 21:03 lib
drwxr-xr-x  3 root root 4.0K Jun  12 20:57 lib64
drwxr-xr-x  3 root root 4.0K Jun  12 20:51 libexec
drwxr-xr-x  2 root root 4.0K Jun  12 21:02 meta
drwxr-xr-x  4 root root 4.0K Jun  12 21:03 share
      説明 このトピックでは、${} で囲まれた項目は環境変数です。お使いの環境に適した値に置き換えてください。
    2. CDH 5.14.4 用の OSS サポートパッケージを CDH 5 インストールディレクトリの jars フォルダーにダウンロードします。
      このパッケージは、CDH 5.14.4 の Hadoop バージョンに基づいてコンパイルされており、OSS サポートに必要なパッチが含まれています。他の CDH バージョン用のパッケージは、次のリンクからダウンロードできます。
      • CDH 5.8.5
      • CDH 5.4.4
      • CDH 6.3.2
        説明 CDH 6.3.2 の場合、パッケージファイルを CDH 6 インストールディレクトリの jars フォルダーにコピーします。次に、次のステップに従ってパッケージをデプロイします。これには、aliyun-sdk-oss-3.4.1.jar ファイルの更新と、aliyun-java-sdk-*.jar ファイルのシンボリックリンクを対応する場所に作成する作業が含まれます。
    3. パッケージを展開します。 
      [root@cdh-master CDH-5.14.4-1.cdh5.14.4.p0.3]# tar -tvf hadoop-oss-cdh-5.14.4.tar.gz 
drwxr-xr-x root/root 0 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/
-rw-r--r-- root/root 13277 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-sts-3.0.0.jar
-rw-r--r-- root/root 326724 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/httpcore-4.4.4.jar
-rw-r--r-- root/root 524927 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-sdk-oss-3.4.1.jar
-rw-r--r-- root/root 116337 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-core-3.4.0.jar
-rw-r--r-- root/root 215492 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-ram-3.0.0.jar
-rw-r--r-- root/root 788137 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-ecs-4.2.0.jar
-rw-r--r-- root/root 70017 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/hadoop-aliyun-2.6.0-cdh5.14.4.jar
-rw-r--r-- root/root 736658 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/httpclient-4.5.2.jar
    4. ${CDH_HOME}/lib/hadoop ディレクトリに移動し、次のコマンドを実行します。 
      [root@cdh-master hadoop]# rm -f lib/httpclient-4.2.5.jar
[root@cdh-master hadoop]# rm -f lib/httpcore-4.2.5.jar
[root@cdh-master hadoop]# ln -s ../../jars/hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun-2.6.0-cdh5.14.4.jar
[root@cdh-master hadoop]# ln -s hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar
[root@cdh-master hadoop]# cd lib
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-core-3.4.0.jar aliyun-java-sdk-core-3.4.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ecs-4.2.0.jar aliyun-java-sdk-ecs-4.2.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ram-3.0.0.jar aliyun-java-sdk-ram-3.0.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-sts-3.0.0.jar aliyun-java-sdk-sts-3.0.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-sdk-oss-3.4.1.jar aliyun-sdk-oss-3.4.1.jar
[root@cdh-master lib]# ln -s ../../../jars/httpclient-4.5.2.jar httpclient-4.5.2.jar
[root@cdh-master lib]# ln -s ../../../jars/httpcore-4.4.4.jar httpcore-4.4.4.jar
[root@cdh-master lib]# ln -s ../../../jars/jdom-1.1.jar jdom-1.1.jar
    5. リソースマネージャーがデプロイされているノードで、${CDH_HOME}/lib/hadoop-yarn/bin/ ディレクトリに移動します。yarnCLASSPATH=${CLASSPATH}:$HADOOP_YARN_HOME/${YARN_DIR}/* CLASSPATH=${CLASSPATH}:$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*CLASSPATH=$HADOOP_YARN_HOME/${YARN_DIR}/*:${CLASSPATH}CLASSPATH=$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*:${CLASSPATH} スクリプトを開き、 のような行を に置き換えます。
    6. リソースマネージャーがデプロイされているノードで、${CDH_HOME}/lib/hadoop-yarn/lib ディレクトリに移動し、次のコマンドを実行します。 
      [root@cdh-master lib]# ln -s ../../../jars/httpclient-4.2.5.jar httpclient-4.2.5.jar
[root@cdh-master lib]# ln -s ../../../jars/httpcore-4.2.5.jar httpcore-4.2.5.jar
    7. Cloudera Manager を使用して必要な構成を追加します。
      クラスターが Cloudera Manager で管理されていない場合は、core-site.xml ファイルを直接変更できます。Cloudera Manager で、HDFS サービスの Cluster-wide Advanced Configuration Snippet (Safety Valve) for core-site.xml ページに移動し、OSS 関連のパラメータを追加します。
      パラメータ 値
      fs.oss.endpoint OSS の接続エンドポイント。

      たとえば、中国 (杭州) リージョンのエンドポイントは oss-cn-hangzhou.aliyuncs.com です。エンドポイントの詳細については、「リージョンとエンドポイント」をご参照ください。
      fs.oss.accessKeyId AccessKey ID。AccessKey ペアの取得方法については、「AccessKey ペアの作成」をご参照ください。
      fs.oss.accessKeySecret AccessKey Secret。AccessKey ペアの取得方法については、「AccessKey ペアの作成」をご参照ください。
      fs.oss.impl Hadoop OSS ファイルシステムの実装クラス。org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem に設定します。
      fs.oss.buffer.dir 一時ファイルディレクトリ。

      推奨値：/tmp/oss
      fs.oss.connection.secure.enabled HTTPS を有効にするかどうかを指定します。HTTPS を有効にすると、パフォーマンスに影響を与える可能性があります。

      推奨値：false
      fs.oss.connection.maximum OSS への最大接続数。

      推奨値：2048

      パラメータの詳細については、「Hadoop-Aliyun module」をご参照ください。

    8. Cloudera Manager の指示に従って、クラスターを再起動します。
    9. OSS への読み取りと書き込みをテストします。
      • データの読み取りをテストします。
        hadoop fs -ls oss://${your-bucket-name}/
      • データの書き込みをテストします。
        hadoop fs -mkdir oss://${your-bucket-name}/hadoop-test

        OSS への読み取りと書き込みができる場合、セットアップは成功です。できない場合は、構成を確認してください。

    ステップ 2: Impala の OSS サポート設定

    Impala は、HDFS に保存されたデータを直接クエリできます。CDH 5 クラスターで OSS サポートを有効にすると、Impala を使用して OSS 内のデータをクエリすることもできます。OSS SDK では httpclient および httpcore ライブラリの新しいバージョンが必要であるため、Impala がデプロイされているすべてのノードで次の手順を実行します。

    1. ${CDH_HOME}/lib/impala/lib ディレクトリに移動し、次のコマンドを実行します。 
      [root@cdh-master lib]# rm -f httpclient-4.2.5.jar httpcore-4.2.5.jar
[root@cdh-master lib]# ln -s ../../../jars/httpclient-4.5.2.jar httpclient-4.5.2.jar
[root@cdh-master lib]# ln -s ../../../jars/httpcore-4.4.4.jar httpcore-4.4.4.jar
[root@cdh-master lib]# ln -s ../../../jars/hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-core-3.4.0.jar aliyun-java-sdk-core-3.4.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ecs-4.2.0.jar aliyun-java-sdk-ecs-4.2.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ram-3.0.0.jar aliyun-java-sdk-ram-3.0.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-sts-3.0.0.jar aliyun-java-sdk-sts-3.0.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-sdk-oss-3.4.1.jar aliyun-sdk-oss-3.4.1.jar
[root@cdh-master lib]# ln -s ../../../jars/jdom-1.1.jar jdom-1.1.jar
    2. ${CDH_HOME}/bin ディレクトリに移動します。impalad、statestored、および catalogd スクリプトを変更します。各ファイルで、最後の exec コマンドの前に次の行を追加します。 
      export CLASSPATH=$CLASSPATH:${IMPALA_HOME}/lib/httpclient-4.5.2.jar:${IMPALA_HOME}/lib/httpcore-4.4.4.jar:${IMPALA_HOME}/lib/hadoop-aliyun.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-core-3.4.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ecs-4.2.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ram-3.0.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-sts-3.0.0.jar:${IMPALA_HOME}/lib/aliyun-sdk-oss-3.4.1.jar:${IMPALA_HOME}/lib/jdom-1.1.jar
    3. すべてのノードで、Impala 関連のすべてのプロセスを再起動します。
      再起動後、Impala を使用して OSS 内のデータをクエリできます。

    構成の検証

    たとえば、OSS に保存されている call_center という名前の TPC-DS ベンチマークテーブルがあるとします。このデータを指す外部テーブルを作成し、cc_country でグループ化されたレコードをカウントするクエリを実行できます。
    [root@cdh-master ~]# impala-shell -i cdh-slave01:21000
Starting Impala Shell without Kerberos authentication
Connected to cdh-slave01:21000
Server version: impalad version 2.11.0-cdh5.14.4 RELEASE (build20e635646a13347800fad36a7d0b1da25ab32404)
***********************************************************************************
Welcome to the Impala shell.
(Impala Shell v2.11.0-cdh5.14.4 (20e6356) built on Tue Jun 12 03:43:08 PDT 2018)
The HISTORY command lists all shell commands in chronological order.
***********************************************************************************
[cdh-slave01:21000] > DROP TABLE IF EXISTS call_center;
Query: DROP TABLE IF EXISTS call_center
[cdh-slave01:21000] >
[cdh-slave01:21000] > CREATE EXTERNAL TABLE call_center(
                    >       cc_call_center_sk         bigint
                    > ,     cc_call_center_id         string
                    > ,     cc_rec_start_date        string
                    > ,     cc_rec_end_date          string
                    > ,     cc_closed_date_sk         bigint
                    > ,     cc_open_date_sk           bigint
                    > ,     cc_name                   string
                    > ,     cc_class                  string
                    > ,     cc_employees              int
                    > ,     cc_sq_ft                  int
                    > ,     cc_hours                  string
                    > ,     cc_manager                string
                    > ,     cc_mkt_id                 int
                    > ,     cc_mkt_class              string
                    > ,     cc_mkt_desc               string
                    > ,     cc_market_manager         string
                    > ,     cc_division               int
                    > ,     cc_division_name          string
                    > ,     cc_company                int
                    > ,     cc_company_name           string
                    > ,     cc_street_number          string
                    > ,     cc_street_name            string
                    > ,     cc_street_type            string
                    > ,     cc_suite_number           string
                    > ,     cc_city                   string
                    > ,     cc_county                 string
                    > ,     cc_state                  string
                    > ,     cc_zip                    string
                    > ,     cc_country                string
                    > ,     cc_gmt_offset             double
                    > ,     cc_tax_percentage         double
                    > )
                    > ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
                    > location 'oss://${your-bucket-name}/call_center';
Query: CREATE EXTERNAL TABLE call_center(
      cc_call_center_sk         bigint
,     cc_call_center_id         string
,     cc_rec_start_date        string
,     cc_rec_end_date          string
,     cc_closed_date_sk         bigint
,     cc_open_date_sk           bigint
,     cc_name                   string
,     cc_class                  string
,     cc_employees              int
,     cc_sq_ft                  int
,     cc_hours                  string
,     cc_manager                string
,     cc_mkt_id                 int
,     cc_mkt_class              string
,     cc_mkt_desc               string
,     cc_market_manager         string
,     cc_division               int
,     cc_division_name          string
,     cc_company                int
,     cc_company_name           string
,     cc_street_number          string
,     cc_street_name            string
,     cc_street_type            string
,     cc_suite_number           string
,     cc_city                   string
,     cc_county                 string
,     cc_state                  string
,     cc_zip                    string
,     cc_country                string
,     cc_gmt_offset             double
,     cc_tax_percentage         double
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
location 'oss://${your-bucket-name}/call_center'
Fetched 0 row(s) in 0.07s
[cdh-slave01:21000] > select cc_country, count(*) from call_center GROUP BY cc_country;
Query: select cc_country, count(*) from call_center GROUP BY cc_country
Query submitted at: 2018-10-28 16:21:13 (Coordinator: http://cdh-slave01:25000)
Query progress can be monitored at: http://cdh-slave01:25000/query_plan?query_id=fb4e09977145f367:3bdfe4d600000000
+---------------+----------+
| cc_country    | count(*) |
+---------------+----------+
| United States | 30       |
+---------------+----------+
Fetched 1 row(s) in 4.71s

    詳細情報

    Hadoop での OSS サポートの詳細については、「Hadoop support for OSS」をご参照ください。