AnalyticDB:外部テーブルを使用した HDFS データのインポート

前提条件

作業を開始する前に、以下の内容を確認してください。

クラスター要件：

• お客様の AnalyticDB for MySQL クラスターは、カーネルバージョン 3.1.4 以降を実行しています。バージョンの確認および更新を行うには、AnalyticDB for MySQL コンソール にログインし、[設定情報] セクションに移動します。[クラスター情報] ページの。手順については、「クラスターのマイナーバージョンを更新する」をご参照ください。

• ご利用のクラスターは、エラスティックモードで実行されているデータウェアハウスエディションである必要があります。ENI アクセスにはエラスティックモードが必要です。

HDFS 要件：

• ご利用の HDFS データファイルは、CSV、Parquet、または ORC 形式である必要があります。

• ご利用の HDFS クラスターが実行中であり、インポート対象のデータが HDFS ディレクトリ内に存在している必要があります。本トピックでは、例として hdfs_import_test_data.csv を使用します。

• AnalyticDB for MySQL からのアクセスのために、HDFS クラスターで以下のサービスポートが開放されている必要があります。

  • NameNode：ファイルシステムのメタデータを管理します。デフォルトポート：8020。設定は fs.defaultFS を通じて行います。「core-default.xml」をご参照ください。

  • DataNode：データの読み取りおよび書き込みを処理します。デフォルトポート：50010。設定は dfs.datanode.address を通じて行います。「hdfs-default.xml」をご参照ください。

ネットワーク構成：

データをインポートする前に、ご利用のクラスターで ENI アクセスを有効化してください。

1. AnalyticDB for MySQL コンソール にログインします。

2. クラスター情報 ページで、ネットワーク情報 セクションに移動します。

3. Elastic Network Interface (ENI) スイッチをオンにします。

HDFS データのインポート

CREATE DATABASE IF NOT EXISTS adb_demo;

CREATE TABLE IF NOT EXISTS hdfs_import_test_external_table
(
    uid string,
    other string
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
    "format":"csv",
    "delimiter":",",
    "hdfs_url":"hdfs://172.17.***.***:9000/adb/hdfs_import_test_csv_data/hdfs_import_test_data.csv"
}';

CREATE TABLE IF NOT EXISTS hdfs_import_test_external_table
(
    uid string,
    other string
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
    "format":"parquet",
    "hdfs_url":"hdfs://172.17.***.***:9000/adb/hdfs_import_test_parquet_data/"
}';

CREATE TABLE IF NOT EXISTS adb_hdfs_import_test
(
    uid string,
    other string
)
DISTRIBUTED BY HASH(uid);

CREATE TABLE IF NOT EXISTS adb_hdfs_import_parquet_partition
(
    uid string,
    other string,
    p1 date,
    p2 int,
    p3 varchar
)
DISTRIBUTED BY HASH(uid);

INSERT OVERWRITE adb_hdfs_import_test
SELECT * FROM hdfs_import_test_external_table;

SUBMIT JOB INSERT OVERWRITE adb_hdfs_import_test
SELECT * FROM hdfs_import_test_external_table;

+---------------------------------------+
| job_id                                |
+---------------------------------------+
| 2020112122202917203100908203303****** |
+---------------------------------------+

SELECT * FROM adb_hdfs_import_test LIMIT 100;

パーティション化された HDFS 外部テーブルの作成

HDFS データが階層的なディレクトリ構造で整理されている場合は、パーティション化された外部テーブルを使用します。HDFS は Parquet、CSV、および ORC 形式のパーティション化されたデータをサポートしています。パーティションは次のようなディレクトリ階層を形成します。

parquet_partition_classic/
├── p1=2020-01-01
│   ├── p2=4
│   │   ├── p3=SHANGHAI
│   │   │   ├── 000000_0
│   │   │   └── 000000_1
│   │   └── p3=SHENZHEN
│   │       └── 000000_0
│   └── p2=6
│       └── p3=SHENZHEN
│           └── 000000_0
├── p1=2020-01-02
│   └── p2=8
│       ├── p3=SHANGHAI
│       │   └── 000000_0
│       └── p3=SHENZHEN
│           └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

次の文は、このパーティション化された Parquet データセット用の外部テーブルを作成します。

CREATE TABLE IF NOT EXISTS hdfs_parquet_partition_table
(
  uid varchar,
  other varchar,
  p1 date,
  p2 int,
  p3 varchar
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
  "hdfs_url":"hdfs://172.17.***.**:9000/adb/parquet_partition_classic/",
  "format":"parquet",
  "partition_column":"p1, p2, p3"
}';

CSV または ORC データを使用する場合は、"format" を "csv" または "orc" に変更します。format を省略した場合、デフォルトで CSV が使用されます。

パーティション化された外部テーブルのルール：

• partition_column プロパティには、ディレクトリ階層に現れる順序でパーティションキー列を列挙します。順序は正確に一致させる必要があります。

• CREATE TABLE 文でパーティションキー列を定義し、すべてのデータ列の後に列リストの末尾に配置します。

• パーティションキー列は、以下のデータ型をサポートします：BOOLEAN、TINYINT、SMALLINT、INT、INTEGER、BIGINT、FLOAT、DOUBLE、DECIMAL、VARCHAR、STRING、DATE、および TIMESTAMP。

• パーティションキー列はクエリ内で通常の列と同様に動作し、SELECT やフィルターに使用できます。

• その他の TABLE_PROPERTIES パラメーターについては、「CSV パラメーター表」または「Parquet/ORC パラメーター表」をご参照ください。

外部テーブルのパラメーター

制限事項

• CSV 外部テーブルは Gzip 圧縮のみをサポートします。

• Parquet 外部テーブルは STRUCT 型の列を使用できません。

• ORC 外部テーブルは LIST、STRUCT、または UNION 型を使用できません。MAP 型はテーブル作成時に使用できますが、クエリはできません。

データ型のマッピング

次のステップ

• インポートタスクを非同期で送信する — job_id を使用して長時間実行されるインポートをモニターします

• クラスターのマイナーバージョンを更新する — クラスターをサポートされているカーネルバージョンに保つ