AnalyticDB:Mulai cepat Edisi Data Warehouse

Buat akun istimewa

1. Login ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, klik Accounts.

3. Pada halaman Accounts, klik Create Privileged Account.

4. Di panel Create Account, konfigurasikan parameter-parameter berikut.

   Parameter	Deskripsi
   Database Account	Nama akun istimewa. Masukkan nama yang memenuhi persyaratan yang ditampilkan di layar.
   Account Type	Untuk kluster Data Warehouse Edition, parameter ini secara otomatis diatur ke Privileged Account dan tidak dapat diubah.
   New Password	Kata sandi untuk akun istimewa. Masukkan kata sandi yang memenuhi persyaratan yang ditampilkan di layar.
   Confirm Password	Masukkan kembali kata sandi untuk konfirmasi.
   Description	Opsional. Masukkan deskripsi untuk akun sebagai referensi di masa mendatang.

5. Klik OK untuk membuat akun.

Buat dan berikan izin kepada akun standar

Prosedur

1. Login ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, klik Data Security.

3. Pada halaman Whitelist Settings, temukan grup daftar putih default dan klik Modify di kolom Actions.

   Catatan

   Anda juga dapat mengklik Create Whitelist untuk membuat grup kustom.

4. Di kotak dialog Edit Whitelist, hapus alamat IP default 127.0.0.1. Masukkan alamat IP atau blok CIDR yang perlu mengakses kluster, lalu klik OK.

   Catatan

   Untuk menambahkan alamat IP publik klien Anda ke daftar putih, Anda harus terlebih dahulu menentukan alamat IP tersebut. Untuk informasi lebih lanjut, lihat Connections.

Menggunakan DMS untuk menghubungkan ke AnalyticDB for MySQL

1. Login ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.

2. Pada halaman Cluster Information, klik Log On to Database di pojok kanan atas.

3. Di kotak dialog yang muncul, masukkan informasi login.

   Parameter	Deskripsi
   Database Type	Nilai default adalah AnalyticDB for MySQL 3.0. Anda tidak perlu mengubahnya.
   Instance Region	Nilai default adalah wilayah tempat instans saat ini berada. Anda tidak perlu mengubahnya.
   Cluster ID	Nilai default adalah ID kluster dari kluster saat ini. Anda tidak perlu mengubahnya.
   Database Account	Nama akun database untuk kluster tersebut.
   Database Password	Kata sandi untuk akun database. Catatan Anda dapat memilih Remember Password untuk login otomatis ke kluster AnalyticDB for MySQL saat ini di masa mendatang tanpa memasukkan akun dan kata sandi database.

   Catatan

   • Saat pertama kali menggunakan DMS untuk login ke kluster AnalyticDB for MySQL, mode kontrol diatur ke Flexible Management secara default. Setelah login, Anda juga dapat mengubah mode kontrol dengan mengedit instans. Untuk informasi lebih lanjut, lihat Edit an instance dan Control modes.

   • Setelah mengonfigurasi parameter login, Anda dapat mengklik Test Connection di pojok kiri bawah. Jika pengujian koneksi gagal, periksa informasi kluster, seperti akun atau kata sandi, berdasarkan pesan error.

   • Sistem secara otomatis menambahkan alamat IP server DMS ke daftar putih alamat IP database. Jika alamat IP tidak ditambahkan secara otomatis, tambahkan secara manual. Untuk informasi lebih lanjut, lihat Langkah 2: Konfigurasikan daftar putih alamat IP dan DMS IP address whitelist.

4. Klik Log On.

Hubungkan secara terprogram ke AnalyticDB for MySQL

• JDBC

• Druid connection pool

• Python

• PHP

• C# (Mac)

• Golang

Gunakan tool command-line MySQL untuk menghubungkan ke AnalyticDB for MySQL

Gunakan klien command-line MySQL untuk menghubungkan ke kluster AnalyticDB for MySQL

Gunakan klien untuk menghubungkan ke AnalyticDB for MySQL

• DBeaver

• DBVisualizer

• Navicat

• SQL WorkBench/J

Hubungkan AnalyticDB for MySQL ke tool visualisasi data

• FineBI

• Quick BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

Prasyarat

• Buat direktori di Object Storage Service (OSS) untuk menyimpan data AnalyticDB for MySQL.

  1. Aktifkan OSS. Untuk informasi lebih lanjut, lihat Aktifkan OSS.

  2. Buat bucket. Untuk informasi lebih lanjut, lihat Buat bucket.

     Penting

     Bucket OSS harus berada di wilayah yang sama dengan kluster AnalyticDB for MySQL Anda.

  3. Buat direktori. Untuk informasi lebih lanjut, lihat Buat direktori.

  4. Unggah objek uji. Untuk informasi lebih lanjut, lihat Unggah objek.

     Dalam contoh ini, objek oss_import_test_data.txt diunggah ke direktori <bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/ di OSS. Baris dipisahkan oleh jeda baris dan kolom dipisahkan oleh titik koma (;). Data sampel sebagai berikut:

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• Ikuti Panduan Memulai AnalyticDB for MySQL untuk menyelesaikan persiapan, seperti membuat kluster, mengatur daftar putih alamat IP, serta membuat akun dan database. Untuk informasi lebih lanjut, lihat Prosedur.

Prosedur

1. Jalankan pernyataan CREATE TABLE untuk membuat tabel eksternal di database adb_demo. Untuk informasi sintaks membuat tabel eksternal OSS untuk data dalam format CSV, Parquet, atau TEXT, lihat Sintaks untuk tabel eksternal OSS.

2. Kueri data OSS.

   Mengkueri tabel eksternal menggunakan sintaks yang sama dengan mengkueri tabel internal AnalyticDB for MySQL. Anda dapat langsung mengkueri data, seperti pada contoh berikut:

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • Untuk objek data CSV atau TEXT berukuran besar, kami sangat menyarankan Anda mengimpor data ke AnalyticDB for MySQL sebelum melakukan kueri untuk mendapatkan performa kueri yang lebih baik.

   • Untuk objek data Parquet, kueri langsung umumnya memiliki performa tinggi. Anda dapat memutuskan apakah akan mengimpor data ke AnalyticDB for MySQL sebelum melakukan kueri berdasarkan kebutuhan Anda.

3. Jalankan pernyataan CREATE TABLE untuk membuat tabel tujuan bernama adb_oss_import_test di database adb_demo guna menyimpan data yang diimpor dari OSS.

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. Jalankan pernyataan INSERT untuk mengimpor data dari tabel eksternal OSS ke AnalyticDB for MySQL.

   Penting

   Secara default, pernyataan INSERT INTO dan INSERT OVERWRITE SELECT mengimpor data secara sinkron. Jika Anda mengimpor data dalam jumlah besar, misalnya ratusan gigabyte, koneksi antara klien dan server AnalyticDB for MySQL harus dipertahankan dalam waktu lama. Selama periode ini, masalah jaringan dapat mengganggu koneksi, sehingga menyebabkan kegagalan impor data. Oleh karena itu, jika Anda mengimpor data dalam jumlah besar, kami menyarankan Anda menggunakan pernyataan SUBMIT JOB INSERT OVERWRITE SELECT untuk mengimpor data secara asinkron.

   • Metode 1: Jalankan pernyataan INSERT INTO untuk mengimpor data. Jika nilai kunci primer duplikat, data baru diabaikan dan data yang ada tidak diperbarui. Perilaku ini setara dengan menggunakan INSERT IGNORE INTO. Untuk informasi lebih lanjut, lihat INSERT INTO. Berikut contoh pernyataannya:

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Metode 2: Jalankan pernyataan INSERT OVERWRITE untuk mengimpor data. Pernyataan ini menimpa data yang ada di tabel. Berikut contoh pernyataannya:

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • Metode 3: Jalankan pernyataan INSERT OVERWRITE untuk mengimpor data secara asinkron. Anda dapat menggunakan pernyataan SUBMIT JOB untuk mengirimkan tugas asinkron. Untuk mempercepat tugas tulis, Anda dapat menambahkan petunjuk /*+ direct_batch_load=true*/. Untuk informasi lebih lanjut, lihat Tulisan asinkron. Berikut contoh pernyataannya:

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     Hasil berikut dikembalikan:

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     Untuk informasi lebih lanjut tentang cara mengirimkan tugas asinkron, lihat Kirimkan tugas impor asinkron.

5. Jalankan perintah berikut untuk mengkueri data di tabel adb_oss_import_test.

   SELECT * FROM adb_oss_import_test;

Sintaks untuk tabel eksternal OSS

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"CSV|ORC|Parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAI****************",
    "accesskey":"yourAccessKeySecret",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

Referensi

Untuk cara lain mengimpor data, lihat Sumber data yang didukung.