AnalyticDB:Gunakan tabel eksternal untuk mengimpor data HDFS

Prasyarat

Sebelum memulai, pastikan hal-hal berikut:

Kebutuhan kluster:

• Kluster AnalyticDB for MySQL Anda menjalankan versi kernel 3.1.4 atau yang lebih baru. Untuk memeriksa dan memperbarui versinya, masuk ke Konsol AnalyticDB for MySQL, lalu buka bagian Configuration Information pada halaman Cluster Information. Untuk petunjuk selengkapnya, lihat Memperbarui versi minor kluster.

• Kluster Anda merupakan kluster Edisi Data Warehouse yang berjalan dalam mode elastis. Mode elastis diperlukan untuk akses Elastic Network Interface (ENI).

Kebutuhan HDFS:

• File data HDFS Anda berformat CSV, Parquet, atau ORC.

• Kluster HDFS Anda sedang berjalan dan data yang akan diimpor tersedia di direktori HDFS. Topik ini menggunakan hdfs_import_test_data.csv sebagai contoh.

• Port layanan berikut terbuka di kluster HDFS untuk AnalyticDB for MySQL:

  • NameNode: Mengelola metadata sistem file. Port default: 8020, dikonfigurasi melalui fs.defaultFS. Lihat core-default.xml.

  • DataNode: Menangani operasi baca dan tulis data. Port default: 50010, dikonfigurasi melalui dfs.datanode.address. Lihat hdfs-default.xml.

Network configuration:

Aktifkan akses ENI pada kluster Anda sebelum mengimpor data.

1. Login ke Konsol AnalyticDB for MySQL.

2. Pada halaman Cluster Information, buka bagian Network Information.

3. Nyalakan sakelar Elastic Network Interface (ENI).

Impor data HDFS

CREATE DATABASE IF NOT EXISTS adb_demo;

CREATE TABLE IF NOT EXISTS hdfs_import_test_external_table
(
    uid string,
    other string
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
    "format":"csv",
    "delimiter":",",
    "hdfs_url":"hdfs://172.17.***.***:9000/adb/hdfs_import_test_csv_data/hdfs_import_test_data.csv"
}';

CREATE TABLE IF NOT EXISTS hdfs_import_test_external_table
(
    uid string,
    other string
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
    "format":"parquet",
    "hdfs_url":"hdfs://172.17.***.***:9000/adb/hdfs_import_test_parquet_data/"
}';

CREATE TABLE IF NOT EXISTS adb_hdfs_import_test
(
    uid string,
    other string
)
DISTRIBUTED BY HASH(uid);

CREATE TABLE IF NOT EXISTS adb_hdfs_import_parquet_partition
(
    uid string,
    other string,
    p1 date,
    p2 int,
    p3 varchar
)
DISTRIBUTED BY HASH(uid);

INSERT OVERWRITE adb_hdfs_import_test
SELECT * FROM hdfs_import_test_external_table;

SUBMIT JOB INSERT OVERWRITE adb_hdfs_import_test
SELECT * FROM hdfs_import_test_external_table;

+---------------------------------------+
| job_id                                |
+---------------------------------------+
| 2020112122202917203100908203303****** |
+---------------------------------------+

SELECT * FROM adb_hdfs_import_test LIMIT 100;

Buat tabel eksternal HDFS terpartisi

Gunakan tabel eksternal terpartisi ketika data HDFS Anda diorganisasikan dalam struktur direktori hierarkis. HDFS mendukung data terpartisi dalam format Parquet, CSV, dan ORC. Partisi membentuk hierarki direktori seperti berikut:

parquet_partition_classic/
├── p1=2020-01-01
│   ├── p2=4
│   │   ├── p3=SHANGHAI
│   │   │   ├── 000000_0
│   │   │   └── 000000_1
│   │   └── p3=SHENZHEN
│   │       └── 000000_0
│   └── p2=6
│       └── p3=SHENZHEN
│           └── 000000_0
├── p1=2020-01-02
│   └── p2=8
│       ├── p3=SHANGHAI
│       │   └── 000000_0
│       └── p3=SHENZHEN
│           └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

Pernyataan berikut membuat tabel eksternal untuk dataset Parquet terpartisi ini:

CREATE TABLE IF NOT EXISTS hdfs_parquet_partition_table
(
  uid varchar,
  other varchar,
  p1 date,
  p2 int,
  p3 varchar
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
  "hdfs_url":"hdfs://172.17.***.**:9000/adb/parquet_partition_classic/",
  "format":"parquet",
  "partition_column":"p1, p2, p3"
}';

Untuk menggunakan data CSV atau ORC, ubah "format" menjadi "csv" atau "orc". Jika format dihilangkan, CSV digunakan secara default.

Aturan untuk tabel eksternal terpartisi:

• Properti partition_column mencantumkan kolom kunci partisi sesuai urutan kemunculannya dalam hierarki direktori. Urutannya harus persis sama.

• Definisikan kolom kunci partisi dalam pernyataan CREATE TABLE dan letakkan di akhir daftar kolom, setelah semua kolom data.

• Kolom kunci partisi mendukung tipe data berikut: BOOLEAN, TINYINT, SMALLINT, INT, INTEGER, BIGINT, FLOAT, DOUBLE, DECIMAL, VARCHAR, STRING, DATE, dan TIMESTAMP.

• Kolom kunci partisi berperilaku seperti kolom biasa dalam kueri — Anda dapat melakukan SELECT dan filter berdasarkan kolom tersebut.

• Untuk parameter TABLE_PROPERTIES lainnya, lihat tabel parameter CSV atau tabel parameter Parquet/ORC.

Parameter tabel eksternal

Batasan

• Tabel eksternal CSV hanya mendukung kompresi Gzip.

• Tabel eksternal Parquet tidak dapat menggunakan kolom bertipe STRUCT.

• Tabel eksternal ORC tidak dapat menggunakan tipe LIST, STRUCT, atau UNION. Tipe MAP dapat digunakan saat pembuatan tabel tetapi tidak dapat dikueri.

Pemetaan tipe data

Langkah berikutnya

• Kirim tugas impor secara asinkron — pantau impor berdurasi panjang menggunakan job_id

• Perbarui versi minor kluster — pastikan kluster Anda menggunakan versi kernel yang didukung