AnalyticDB：Memulai dengan Data Warehouse Edition

Buat akun istimewa

1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Pada panel navigasi di sebelah kiri, klik Clusters. Cari kluster yang ingin dikelola, lalu klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, klik Accounts.

3. Pada tab Accounts, klik Create Privileged Account.

4. Di panel Create Account, konfigurasikan parameter berikut sesuai dengan tabel di bawah ini.

   Parameter	Deskripsi
   Database Account	Nama akun istimewa. Masukkan nama yang memenuhi persyaratan di layar.
   Account Type	Tipe akun. Untuk kluster Data Warehouse Edition, parameter ini secara otomatis disetel ke Privileged Account.
   New Password	Kata sandi akun istimewa. Masukkan kata sandi yang memenuhi persyaratan di layar.
   Confirm Password	Masukkan kata sandi akun istimewa lagi.
   Description	Opsional. Deskripsi yang digunakan untuk mengidentifikasi akun untuk pengelolaan di masa mendatang.

5. Klik OK.

Buat dan berikan izin kepada akun standar

Prosedur

1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas, pilih wilayah. Pada panel navigasi di sebelah kiri, klik Clusters. Cari kluster yang ingin dikelola, lalu klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, klik Data Security.

3. Pada tab Whitelist Settings, klik Modify di sebelah kanan entri daftar putih default.

   Catatan

   Anda juga dapat mengklik Create Whitelist untuk membuat daftar putih alamat IP.

4. Di panel Edit Whitelist, hapus alamat IP default 127.0.0.1, lalu masukkan alamat IP atau blok CIDR yang ingin diizinkan. Klik OK.

   Catatan

   Untuk menambahkan alamat IP keluar klien ke daftar putih, pertama-tama periksa alamat IP tersebut. Untuk informasi lebih lanjut, lihat Koneksi.

Gunakan DMS untuk menghubungkan ke AnalyticDB for MySQL

1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Pada panel navigasi di sebelah kiri, klik Clusters. Cari kluster yang ingin dikelola, lalu klik ID kluster tersebut.

2. Di pojok kanan atas halaman Cluster Information, klik tombol Log On to Database.

3. Dalam kotak dialog yang muncul, konfigurasikan parameter-parameter sesuai dengan tabel berikut.

   Parameter	Deskripsi
   Database Type	Tipe database kluster. Secara default, AnalyticDB MySQL 3.0 ditampilkan.
   Instance Region	Wilayah kluster. Secara default, wilayah tempat kluster berada ditampilkan.
   Instance ID	ID kluster. Secara default, ID kluster saat ini ditampilkan.
   Database Account	Nama akun database yang digunakan untuk menghubungkan ke kluster.
   Database Password	Kata sandi akun database yang digunakan untuk masuk ke kluster. Catatan Anda dapat memilih Remember Password. Dengan cara ini, lain kali Anda menghubungkan ke kluster AnalyticDB for MySQL saat ini, Anda tidak perlu memasukkan nama dan kata sandi akun database.

   Catatan

   • Saat pertama kali menghubungkan ke kluster AnalyticDB for MySQL menggunakan DMS, data dalam kluster dikelola dalam mode Flexible Management. Anda dapat mengubah mode kontrol dengan mengedit kluster. Untuk informasi lebih lanjut, lihat Modifikasi instansi database dan Mode kontrol.

   • Setelah mengonfigurasi parameter, klik Test Connection di pojok kiri bawah kotak dialog. Jika koneksi gagal, periksa informasi yang dimasukkan sesuai petunjuk, seperti parameter Akun Database atau Kata Sandi Database.

   • Sistem secara otomatis menambahkan alamat IP atau blok CIDR server DMS ke daftar putih alamat IP kluster. Jika penambahan alamat IP atau blok CIDR gagal, Anda harus melakukannya secara manual. Untuk informasi lebih lanjut, lihat bagian "Langkah 2: Konfigurasikan daftar putih alamat IP" pada topik ini dan Tambahkan alamat IP dan blok CIDR DMS ke pengaturan keamanan.

4. Klik Login.

Gunakan kode untuk menghubungkan ke AnalyticDB for MySQL selama pengembangan aplikasi

• JDBC

• Kolam Koneksi Druid

• Python

• PHP

• C# untuk macOS

• Golang

Gunakan alat baris perintah MySQL untuk menghubungkan ke AnalyticDB for MySQL

Gunakan klien baris perintah MySQL untuk terhubung ke AnalyticDB for MySQL

Gunakan klien untuk menghubungkan ke AnalyticDB for MySQL

• DBeaver

• DbVisualizer

• Navicat

• SQL WorkBench/J

Gunakan alat visualisasi data untuk menghubungkan ke AnalyticDB for MySQL

• FineBI

• Quick BI

• Yonghong BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

Prasyarat

• Direktori dibuat dalam bucket Object Storage Service (OSS) dengan melakukan operasi berikut untuk menyimpan data yang diimpor dari kluster AnalyticDB for MySQL.

  1. Aktifkan OSS. Untuk informasi lebih lanjut, lihat Aktifkan OSS.

  2. Buat bucket OSS. Untuk informasi lebih lanjut, lihat Buat bucket.

     Penting

     Pastikan bucket OSS berada di wilayah yang sama dengan kluster AnalyticDB for MySQL.

  3. Buat direktori. Untuk informasi lebih lanjut, lihat bagian "Buat direktori" pada topik Kelola direktori.

  4. Unggah objek. Untuk informasi lebih lanjut, lihat Unggah objek.

     Dalam contoh ini, objek oss_import_test_data.txt diunggah ke direktori <bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/ di OSS. Pemisah baris adalah line feed, sedangkan pemisah kolom adalah titik koma (;). Kode berikut menampilkan sebagian data yang terdapat dalam objek ini:

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• Kluster AnalyticDB for MySQL telah dibuat. Daftar putih alamat IP telah dikonfigurasi untuk kluster tersebut, dan akun database serta database telah dibuat. Untuk informasi lebih lanjut, lihat Proses memulai dengan Data Warehouse Edition.

Prosedur

1. Eksekusi pernyataan CREATE TABLE untuk membuat tabel eksternal di database adb_demo. Untuk panduan tentang pembuatan tabel eksternal OSS dalam format CSV, Parquet, atau TEXT, lihat bagian "Sintaks untuk membuat tabel eksternal OSS" pada topik ini.

2. Kueri data OSS.

   Anda dapat mengkueri data tabel eksternal dengan cara yang sama seperti mengkueri data tabel internal di AnalyticDB for MySQL. Contoh:

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • Jika objek dalam format CSV atau TEXT dan berisi sejumlah besar data, disarankan untuk mengimpor objek ke AnalyticDB for MySQL sebelum menjalankan kueri. Jika tidak, kinerja kueri dapat terpengaruh.

   • Jika objek berformat Parquet, Anda dapat memilih untuk langsung mengkueri data atau mengimpor objek ke AnalyticDB for MySQL sebelum melakukan kueri.

3. Eksekusi pernyataan CREATE TABLE untuk membuat tabel tujuan bernama adb_oss_import_test di database adb_demo guna menyimpan data yang diimpor dari Object Storage Service (OSS).

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. Eksekusi pernyataan INSERT untuk mengimpor data dari tabel eksternal OSS ke AnalyticDB for MySQL.

   Penting

   Secara default, pernyataan INSERT INTO dan INSERT OVERWRITE SELECT mengimpor data secara sinkron. Jika ratusan gigabyte data diimpor, klien harus mempertahankan koneksi dengan server AnalyticDB for MySQL selama periode waktu yang lama. Selama proses ini, impor dapat gagal akibat pemutusan jaringan. Oleh karena itu, untuk mengimpor sejumlah besar data, disarankan menggunakan pernyataan SUBMIT JOB INSERT OVERWRITE SELECT agar data diimpor secara asinkron.

   • Metode 1: Eksekusi pernyataan INSERT INTO untuk mengimpor data. Jika kunci utama memiliki nilai duplikat, data tidak akan dimasukkan ulang, dan pernyataan INSERT INTO akan setara dengan INSERT IGNORE INTO. Untuk informasi lebih lanjut, lihat INSERT INTO.

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Metode 2: Eksekusi pernyataan INSERT OVERWRITE untuk mengimpor data. Jika kunci utama memiliki nilai duplikat, nilai asli akan ditimpa oleh nilai baru.

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Metode 3: Eksekusi pernyataan INSERT OVERWRITE untuk mengimpor data secara asinkron. Dalam banyak kasus, pernyataan SUBMIT JOB digunakan untuk mengirimkan pekerjaan asinkron. Anda dapat menambahkan hint (/*+ direct_batch_load=true*/) sebelum pernyataan impor data guna mempercepat proses. Untuk informasi lebih lanjut, lihat bagian "Penulisan Asinkron" pada topik INSERT OVERWRITE SELECT.

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     Contoh hasil:

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     Untuk informasi tentang cara mengirimkan pekerjaan asinkron, lihat Kirim Pekerjaan Impor secara Asinkron.

5. Jalankan pernyataan berikut untuk mengkueri data tabel adb_oss_import_test:

   SELECT * FROM adb_oss_import_test;

Sintaks untuk membuat tabel eksternal OSS

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"text|orc|parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAI****************",
    "accesskey":"yourAccessKeySecret",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│           └── 000000_1
│       └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, ...])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

Referensi

Untuk informasi lebih lanjut tentang cara mengimpor data ke AnalyticDB for MySQL, lihat Sumber Data yang Didukung.