Data Lake Formation:EMR on ECS での DLF 内のファイルへのアクセス

1. 依存関係パッケージのインポート

   4 つの依存関係パッケージを OSS にアップロードします。ファイルの権限を公開読み取りに設定します。詳細については、「シンプルアップロード」をご参照ください。

2. スクリプトを作成して OSS にアップロード

   #!/bin/bash
   
   echo 'prepare paimon-vfs in hadoop classpath'
   cd /opt/apps/JINDOSDK/jindosdk-current/lib
   rm -rf paimon-*
   wget ${paimon_vfs_jar}
   wget ${paimon_jindo_jar}
   wget ${paimon_bundle_jar}
   
   echo 'prepare paimon-spark in spark classpath'
   rm -rf /opt/apps/PAIMON/paimon-dlf
   rm -rf /opt/apps/PAIMON/paimon-dlf.tar.gz.*
   mkdir -p /opt/apps/PAIMON/paimon-dlf/lib/spark3
   cd /opt/apps/PAIMON/paimon-dlf/lib/spark3
   wget ${paimon_spark_jar}
   rm -f /opt/apps/PAIMON/paimon-current
   ln -sf /opt/apps/PAIMON/paimon-dlf /opt/apps/PAIMON/paimon-current

   重要

   スクリプト内のプレースホルダー ${paimon_vfs_jar}、${paimon_jindo_jar}、${paimon_bundle_jar}、および ${paimon_spark_jar} を、対応する OSS オブジェクトのダウンロードパスに置き換えます。デフォルトでは、ECS クラスター上の EMR はインターネットにアクセスできません。例：

   • 内部エンドポイント: https://{bucket}.oss-cn-hangzhou-internal.aliyuncs.com/jars/paimon-jindo-1.3.0.jar。

   • パブリックエンドポイント: https://{bucket}.oss-cn-hangzhou.aliyuncs.com/jars/paimon-jindo-1.3.0.jar。

3. EMR クラスターのブートストラップアクションとしてスクリプトを実行します。詳細については、「スクリプトの手動実行」をご参照ください。

   1. EMR コンソールで、ご利用のクラスターのページに移動し、[スクリプト操作] > [手動実行] を選択します。[作成して実行] をクリックします。

   2. 表示されるダイアログボックスで、次のパラメーターを設定し、[OK] をクリックします。

      • [名前]: スクリプトのカスタム名を入力します。

      • [スクリプトの場所]: OSS にアップロードしたアップグレードスクリプトを選択します。スクリプトパスは oss://**/*.sh 形式である必要があります。

      • [実行範囲]: [クラスター] を選択します。

4. スクリプトの実行後、変更を有効にするため、Spark および Hive サービスを再起動します。

Hadoop Shell を使用したアクセス

Hadoop Shell を使用して、CSV ファイルをオブジェクトテーブルにアップロードします。

# CSV ファイルをアップロードします
echo "James,Sales,3000" >> employee.csv
hadoop fs -put employee.csv pvfs://catalog_name/default/object_table/

# object_table 内のすべてのファイルをクエリします
hadoop fs -ls pvfs://catalog_name/default/object_table/

# CSV ファイルを表示します
hadoop fs -cat pvfs://catalog_name/default/object_table/employee.csv

Hive を使用したアクセス

Hive を使用して、オブジェクトテーブル内の CSV ファイルをクエリします。

# Hive に接続します
beeline -u jdbc:hive2://localhost:10000

# CSV ファイルをマッピングするための一時テーブルを作成します
CREATE TEMPORARY TABLE temp_table (
    employee_name STRING,
    department STRING,
    salary INT
) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
STORED AS TEXTFILE 
LOCATION 'pvfs://catalog_name/default/object_table/';

# 一時テーブルをクエリします
SELECT * FROM temp_table;

Spark を使用したアクセス

Spark を使用して、オブジェクトテーブル内の CSV ファイルをクエリします。

# spark-sql を起動します
spark-sql

# CSV ファイルをマッピングするための一時ビューを作成します
CREATE TEMPORARY VIEW temp_table
USING csv
OPTIONS (
path 'pvfs://catalog_name/default/object_table',
inferSchema 'false',
schema 'employee_name STRING, department STRING, salary INT'
);

# 一時ビューをクエリします
SELECT * FROM temp_table;