AnalyticDB:Panduan Cepat Edisi Gudang Data

Membuat akun istimewa

1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster tersebut lalu klik ID klusternya.

2. Di panel navigasi sebelah kiri, klik Accounts.

3. Pada tab Accounts, klik Create Privileged Account.

4. Pada panel Create Account, konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Database Account	Nama akun istimewa. Harus memenuhi persyaratan yang ditampilkan di layar.
   Account Type	Secara otomatis diatur ke Privileged Account untuk kluster Edisi Gudang Data.
   New Password	Password akun. Harus memenuhi persyaratan yang ditampilkan di layar.
   Confirm Password	Masukkan ulang password.
   Description	(Opsional) Catatan untuk mengidentifikasi akun.

5. Klik OK.

Membuat akun standar

Akun standar yang dibuat melalui pernyataan SQL tidak ditampilkan di konsol. Gunakan perintah SQL berikut untuk mengelolanya:

• Membuat akun: CREATE USER

• Memberikan izin: GRANT

• Mencabut izin: REVOKE

• Mengganti nama akun: RENAME USER

• Menghapus akun: DROP USER

Mengonfigurasi daftar putih

1. Di Konsol AnalyticDB for MySQL, buka halaman detail kluster.

2. Di panel navigasi sebelah kiri, klik Data Security.

3. Pada tab Whitelist Settings, klik Modify di sebelah kanan daftar putih default.

   Untuk membuat daftar putih terpisah alih-alih mengedit yang default, klik Create Whitelist.

4. Pada panel Edit Whitelist, hapus 127.0.0.1, masukkan alamat IP atau blok CIDR yang ingin diizinkan, lalu klik OK.

   Untuk mengetahui alamat IP egress mesin klien Anda, lihat Connections.

Gunakan DMS

1. Di Konsol AnalyticDB for MySQL, buka halaman detail kluster.

2. Di pojok kanan atas halaman Cluster Information, klik Log On to Database.

3. Pada kotak dialog, isi detail koneksi.

   - Saat pertama kali terhubung melalui DMS, kluster dikelola dalam mode Flexible ManagementEdit an instance. Untuk mengubah mode kontrol, lihat Modify database instances. Untuk mode kontrol yang tersedia, lihat Control modes. - Klik Test Connection di pojok kiri bawah untuk memverifikasi koneksi sebelum login. - DMS secara otomatis menambahkan IP servernya ke daftar putih kluster. Jika gagal, tambahkan secara manual — lihat Add DMS IP addresses and CIDR blocks to security settings.

   Parameter	Deskripsi
   Database Type	Default-nya adalah AnalyticDB MySQL 3.0.
   Instance Region	Default-nya adalah wilayah kluster.
   Instance ID	Default-nya adalah ID kluster saat ini.
   Database Account	Nama akun database.
   Database Password	Password untuk akun tersebut. Pilih Remember Password agar tidak perlu memasukkan kredensial lagi lain kali.

4. Klik Login.

Gunakan client atau tool

Klien MySQL:

• MySQL command-line client

• DBeaver

• DbVisualizer

• Navicat

• SQL WorkBench/J

Alat business intelligence (BI):

• FineBI

• Quick BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

Kode aplikasi:

• JDBC

• Druid connection pool

• Python

• PHP

• C# for macOS

• Golang

Impor data dari OSS

1. Di SQL Console, pilih database adb_demo dan buat tabel eksternal OSS:

   CREATE TABLE oss_import_test_external_table
   (
       uid    STRING,
       other  STRING
   )
   ENGINE='OSS'
   TABLE_PROPERTIES='{
       "endpoint":  "oss-cn-hangzhou-internal.aliyuncs.com",
       "url":       "oss://<bucket-name>/adb/oss_import_test_data.txt",
       "accessid":  "<your-access-key-id>",
       "accesskey": "<your-access-key-secret>",
       "format":    "csv",
       "delimiter": ";"
   }';

   Untuk sintaks lengkap dan semua parameter yang didukung, lihat Referensi tabel eksternal OSS.

2. Jalankan kueri uji untuk memverifikasi bahwa tabel eksternal membaca data dengan benar:

   Untuk file format CSV dan TEXT dengan volume data besar, impor data ke tabel internal sebelum menjalankan kueri. Kueri langsung terhadap tabel eksternal berukuran besar mungkin memiliki performa lebih rendah. Untuk file format Parquet, kueri langsung juga didukung.

   SELECT uid, other
   FROM oss_import_test_external_table
   WHERE uid < 100
   LIMIT 10;

   Kueri tersebut mengembalikan baris-baris dari file OSS. Jika tidak ada baris yang dikembalikan, periksa apakah endpoint, URL, dan kredensial sudah benar.

3. Buat tabel tujuan internal:

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid   STRING,
       other STRING
   )
   DISTRIBUTED BY HASH(uid);

4. Impor data OSS ke tabel internal. Pilih salah satu metode berikut berdasarkan volume data Anda: Metode 1 — Impor sinkron (set data kecil): Gunakan INSERT INTO ketika kunci primer duplikat harus diabaikan (setara dengan INSERT IGNORE INTO):

   Penting

   Kedua perintah INSERT INTO dan INSERT OVERWRITE SELECT dijalankan secara sinkron. Untuk set data besar (ratusan gigabyte), pemutusan jaringan selama impor berdurasi panjang akan menyebabkan pekerjaan gagal. Gunakan Metode 2 sebagai gantinya.

   INSERT INTO adb_oss_import_test
   SELECT * FROM oss_import_test_external_table;

   Gunakan INSERT OVERWRITE ketika kunci primer duplikat harus menimpa baris yang sudah ada:

   INSERT OVERWRITE adb_oss_import_test
   SELECT * FROM oss_import_test_external_table;

   Metode 2 — Impor asinkron (set data besar, direkomendasikan): Kirim impor sebagai pekerjaan latar belakang menggunakan SUBMIT JOB. Anda dapat menambahkan petunjuk (/*+ direct_batch_load=true*/) untuk mempercepat proses muat:

   SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
   SELECT * FROM oss_import_test_external_table;

   Perintah tersebut langsung mengembalikan ID pekerjaan:

   +---------------------------------------+
   | job_id                                |
   +---------------------------------------+
   | 2020112122202917203100908203303****** |
   +---------------------------------------+

   Untuk memantau status pekerjaan, lihat Asynchronously submit an import job.

5. Setelah impor selesai, kueri tabel internal untuk memverifikasi data:

   SELECT * FROM adb_oss_import_test;

Referensi tabel eksternal OSS

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, ...])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":                   "endpoint",
    "url":                        "oss://bucket-name/path/",
    "accessid":                   "your-access-key-id",
    "accesskey":                  "your-access-key-secret",
    "format":                     "text|orc|parquet",
    "delimiter":                  ";",
    "skip_header_line_count":     1,
    "charset":                    "utf-8"
}';

parquet_partition_classic/
├── p1=2020-01-01
│   ├── p2=4
│   │   ├── p3=SHANGHAI
│   │   │   ├── 000000_0
│   │   │   └── 000000_1
│   │   └── p3=SHENZHEN
│   │       └── 000000_0
│   └── p2=6
│       └── p3=SHENZHEN
│           └── 000000_0
├── p1=2020-01-02
│   └── p2=8
│       ├── p3=SHANGHAI
│       │   └── 000000_0
│       └── p3=SHENZHEN
│           └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, ...])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":         "endpoint",
    "url":              "oss://bucket-name/parquet_partition_classic/",
    "accessid":         "your-access-key-id",
    "accesskey":        "your-access-key-secret",
    "format":           "parquet",
    "partition_column": "p1, p2, p3"
}';

CREATE TABLE adb_csv_hive_format_oss (
    a TINYINT,
    b SMALLINT,
    c INT,
    d BIGINT,
    e BOOLEAN,
    f FLOAT,
    g DOUBLE,
    h VARCHAR,
    i VARCHAR,  -- BINARY di Hive
    j TIMESTAMP,
    k DECIMAL(10, 4),
    l VARCHAR,  -- CHAR(10) di Hive
    m VARCHAR,  -- VARCHAR(100) di Hive
    n DATE
)
ENGINE='OSS'
TABLE_PROPERTIES='{
    "format":                       "csv",
    "endpoint":                     "oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":                     "LTAI****************",
    "accesskey":                    "<your-access-key-secret>",
    "url":                          "oss://testBucketname/adb_data/",
    "delimiter":                    "\\1",
    "null_value":                   "\\\\N",
    "oss_ignore_quote_and_escape":  "true",
    "ossnull":                      2
}';