Hubungkan Tablestore ke DataWorks - Tablestore

Tablestore memungkinkan Anda menghubungkan instance Tablestore ke DataWorks. Dengan cara ini, Anda dapat mengelola dan menggunakan data dari instance tersebut di DataWorks. Untuk menghubungkan instance ke DataWorks, tambahkan sumber data Tablestore di DataWorks. Setelah menambahkan sumber data Tablestore, Anda dapat mengonfigurasi tugas sinkronisasi data di DataWorks untuk menyinkronkan dan memigrasikan data Tablestore serta menjalankan pernyataan SQL untuk menanyakan data Tablestore. Topik ini menjelaskan cara menambahkan sumber data Tablestore dan menjalankan pernyataan SQL untuk menanyakan data Tablestore.

Informasi latar belakang

DataWorks adalah platform pengembangan dan tata kelola big data ujung-ke-ujung yang menyediakan solusi gudang data, danau data, dan danau-gudang data berdasarkan mesin komputasi big data seperti MaxCompute, Hologres, E-MapReduce (EMR), AnalyticDB, dan Cloudera Data Platform (CDP). Untuk informasi lebih lanjut, lihat Apa itu DataWorks?

Skenario

Setelah menghubungkan instance Tablestore ke DataWorks, Anda dapat memproses dan menganalisis data di DataWorks secara efisien serta menggunakan data dalam berbagai skenario big data. Berikut adalah beberapa skenario umum:

Penyimpanan dan analisis data berskala besar
Tablestore menyediakan throughput tinggi dan dapat menyimpan sejumlah besar data. DataWorks mendukung analitik data besar. Setelah terhubung, Anda dapat menggunakan pernyataan SQL, tugas MapReduce, atau kode kustom di DataWorks untuk menanyakan dan memproses data Tablestore. Sebagai contoh, Anda dapat menganalisis log dan perilaku pengguna.
Pemrosesan data waktu nyata
DataWorks mendukung tugas komputasi waktu nyata, seperti tugas Flink. Setelah terhubung, Anda dapat mengonsumsi, memproses, dan menganalisis data Tablestore secara real-time dalam skenario seperti pemantauan waktu nyata, pelaporan waktu nyata, dan rekomendasi waktu nyata.
Pemrosesan data offline dan pemrosesan batch
DataWorks menyediakan kemampuan penjadwalan tugas. Setelah terhubung, tugas pemrosesan batch yang melibatkan data Tablestore dipicu untuk dijalankan sesuai jadwal. Tugas-tugas tersebut bisa berupa tugas ekstraksi, transformasi, dan pemuatan (ETL) yang mengonversi data mentah menjadi format yang diperlukan untuk analisis atau tugas terjadwal yang mengumpulkan dan menganalisis data.
Membangun danau data dan gudang data
Tablestore dapat digunakan sebagai lapisan penyimpanan danau data yang menyimpan data mentah atau semi-terstruktur. Setelah terhubung, Anda dapat menggunakan DataWorks untuk membangun pipeline data untuk memproses dan membersihkan data Tablestore dan kemudian mengimpor data ke MaxCompute atau gudang data lainnya untuk analisis dan penambangan lebih lanjut.
Laporan BI dan visualisasi data
DataWorks dapat diintegrasikan dengan alat pelaporan business intelligence (BI), seperti Quick BI. Setelah terhubung, DataWorks dapat langsung membaca data dari Tablestore dan menghasilkan berbagai laporan BI dan dasbor untuk memberikan dukungan data bagi pengambilan keputusan perusahaan.
Proyek pembelajaran mesin dan AI
Anda dapat menyimpan data untuk pelatihan, model, dan fitur di Tablestore. Setelah terhubung, Anda dapat menggunakan DataWorks untuk memanggil tugas yang dibuat di Platform for AI (PAI) untuk pelatihan model dan prediksi berdasarkan data Tablestore. Ini memungkinkan Anda melakukan pengembangan ujung-ke-ujung dari persiapan data hingga penerapan model.

Prosedur

Setelah menghubungkan instance Tablestore ke DataWorks, Anda dapat menggunakan fitur kueri SQL untuk menanyakan dan menganalisis data Tablestore.

Anda hanya dapat menghubungkan instance Tablestore ke DataWorks jika menggunakan model Wide Column atau TimeSeries.

Prasyarat

Pengguna Resource Access Management (RAM) dengan pasangan AccessKey telah dibuat. Kebijakan AliyunOTSFullAccess dilampirkan ke pengguna RAM untuk memberikan izin kepada pengguna RAM mengelola Tablestore dan kebijakan AliyunDataWorksFullAccess dilampirkan ke pengguna RAM untuk memberikan izin kepada pengguna RAM mengelola DataWorks. Untuk informasi lebih lanjut, lihat Gunakan pasangan AccessKey dari pengguna RAM untuk mengakses Tablestore.
Sumber daya tertentu dibuat berdasarkan model data Tablestore yang Anda gunakan.
- Jika menggunakan model Wide Column, tabel data dibuat dan data ditulis ke tabel data. Untuk informasi lebih lanjut, lihat Operasi pada tabel data dan Tulis data.
- Jika menggunakan model TimeSeries, tabel seri waktu dibuat dan data ditulis ke tabel seri waktu. Untuk informasi lebih lanjut, lihat Operasi pada tabel seri waktu dan Tulis data seri waktu.
Operasi berikut dilakukan di konsol DataWorks:
- DataWorks diaktifkan dan ruang kerja dibuat. Untuk informasi lebih lanjut, lihat Aktifkan DataWorks dan Buat ruang kerja.
- Izin untuk menanyakan sumber data Tablestore di layanan DataAnalysis DataWorks diperoleh. Untuk informasi lebih lanjut, lihat Gunakan fitur kontrol kueri dan analisis data.
- Akun yang ingin digunakan ditambahkan sebagai anggota ruang kerja, dan peran Data Analyst, Model Developer, Development, O&M, Workspace Manager, atau Project Owner diberikan kepada anggota tersebut. Untuk informasi lebih lanjut, lihat Tambahkan anggota ruang kerja dan tetapkan peran kepada mereka.

Langkah 1: Tambahkan sumber data Tablestore di DataWorks

Untuk menambahkan Tablestore database sebagai sumber data, ikuti langkah-langkah berikut:

Pergi ke halaman Integrasi Data.

Masuk ke Konsol DataWorks. Setelah beralih ke wilayah tujuan, klik Data Integration > Data Integration di panel navigasi di sebelah kiri. Di daftar drop-down, pilih ruang kerja yang sesuai dan klik Go To Data Integration.
Di panel navigasi di sebelah kiri, klik Data Sources.
Di halaman Data Source List, Anda dapat mengklik Add Data Source.
Di kotak dialog Add Data Source, temukan bagian Tablestore dan klik Tablestore.

Di kotak dialog Add OTS Data Source, atur parameter sumber data sesuai dengan tabel di bawah ini.

Parameter	Deskripsi
Nama Sumber Data	Nama sumber data. Nama tersebut hanya dapat berisi huruf, angka, dan garis bawah (_), dan harus dimulai dengan huruf.
Deskripsi Sumber Data	Deskripsi sumber data. Deskripsi tersebut tidak boleh melebihi 80 karakter.
Wilayah	Pilih wilayah tempat instance Tablestore berada.
Nama Instance Table Store	Nama instance Tablestore. Untuk informasi lebih lanjut, lihat Instance.
Endpoint	Endpoint dari instance Tablestore. Kami merekomendasikan Anda menggunakan alamat VPC. Penting Topik ini menggunakan instance Tablestore dan ruang kerja DataWorks di bawah akun Alibaba Cloud yang sama di wilayah yang sama sebagai contoh. Untuk informasi lebih lanjut tentang skenario, lihat Contoh konfigurasi konektivitas jaringan untuk berbagai skenario.
ID AccessKey	ID AccessKey dan Rahasia AccessKey dari akun Alibaba Cloud Anda atau pengguna RAM. Untuk informasi lebih lanjut tentang cara mendapatkannya, lihat Buat AccessKey.
Rahasia AccessKey

Uji konektivitas jaringan antara sumber data dan grup sumber daya.

Untuk memastikan bahwa tugas sinkronisasi Anda dapat dijalankan sesuai harapan, uji konektivitas jaringan antara sumber data dan grup sumber daya yang diperlukan oleh tugas sinkronisasi.
1. (Opsional) Beli dan lampirkan grup sumber daya ke ruang kerja DataWorks saat ini. Untuk informasi lebih lanjut, lihat Tambah dan gunakan grup sumber daya serverless.
  
  Kami tidak merekomendasikan penggunaan grup sumber daya warisan (grup sumber daya eksklusif dan grup sumber daya bersama). Dibandingkan dengan grup sumber daya warisan, grup sumber daya serverless menyediakan kemampuan yang lebih kaya, memiliki model penjualan yang lebih seragam, dan dapat secara efektif memanfaatkan fragmentasi sumber daya untuk menghindari pemborosan. Oleh karena itu, kami merekomendasikan Anda menggunakan grup sumber daya serverless.
  
  Catatan
  Grup sumber daya serverless tidak memiliki kemampuan akses jaringan publik secara default. Anda perlu mengonfigurasi Gateway NAT publik dan EIP untuk VPC yang dilampirkan sebelum akses jaringan publik ke sumber data didukung.
2. Setelah grup sumber daya berhasil dimulai, klik Connectivity Status di area Connection Configuration dari grup sumber daya yang sesuai, lalu klik Test Connectivity .
3. Setelah uji konektivitas berhasil, Connectivity Status akan menampilkan Terkoneksi. Anda kemudian dapat mengklik Complete.
  
  Sumber data yang baru dibuat ditampilkan di daftar sumber data.
  Catatan
  Jika Not Connected muncul, itu berarti grup sumber daya tidak dapat terhubung ke sumber data. Akibatnya, tugas yang terkait dengan sumber data tidak akan dieksekusi dengan benar. Untuk menyelesaikan masalah tersebut, ikuti langkah-langkah berikut.
  - Gunakan jendela Connectivity Diagnostic Tool yang muncul di sebelah kanan untuk menyelesaikan masalah konektivitas secara mandiri.
  - Jika alat diagnostik konektivitas tidak memberikan solusi spesifik, periksa akun, kata sandi, alamat koneksi, dan parameter lain yang Anda atur. Pastikan juga bahwa alamat IP grup sumber daya ditambahkan ke daftar putih sumber data. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.

Langkah 2: Kueri data Tablestore dengan menggunakan fitur kueri SQL di DataWorks

Tablestore mendukung model penyimpanan data, seperti model Wide Column dan TimeSeries. Operasi kueri SQL bervariasi berdasarkan model instance Anda. Anda harus melakukan operasi kueri SQL berdasarkan model instance Anda.

Fitur kueri SQL di layanan DataAnalysis DataWorks menyediakan kemampuan yang sama dengan fitur kueri SQL Tablestore. Untuk informasi lebih lanjut, lihat Fitur SQL.

Jalankan pernyataan SQL untuk menanyakan data di instance model Wide Column

Pergi ke halaman analisis data.
1. Masuk ke Konsol DataWorks sebagai administrator proyek.
2. Di panel navigasi di sebelah kiri, pilih DataAnalysis > SQL Query.
3. Di halaman SQL Query, pilih wilayah, pilih ruang kerja yang ingin Anda kelola, lalu klik Go to SQL Query.
Buat file kueri SQL.
1. Di panel navigasi di sebelah kiri halaman Kueri SQL, gerakkan pointer ke atas ikon plus di sebelah kanan My Files dan pilih Create File.
2. Di kotak dialog Create File, masukkan nama file dan klik OK.
  Di panel navigasi di sebelah kiri, Anda dapat melihat file yang telah dibuat.

Buka editor SQL untuk file yang dibuat dan konfigurasikan informasi tentang sumber data yang ingin Anda kueri.

Di panel navigasi di sebelah kiri halaman Kueri SQL, klik File Saya dan klik file yang telah dibuat. Di pojok kanan atas editor SQL yang muncul, klik ikon .

Di kotak dialog yang muncul, konfigurasikan parameter. Tabel berikut menjelaskan parameter.

Parameter	Deskripsi
Ruang Kerja	Ruang kerja yang datanya ingin Anda kueri. Pilih ruang kerja berdasarkan kebutuhan bisnis Anda.
Tipe Sumber Data	Tipe sumber data yang datanya ingin Anda kueri. Pilih Tablestore.
Nama Sumber Data	Nama sumber data yang datanya ingin Anda kueri. Pilih sumber data yang telah Anda tambahkan. Tabel yang ingin Anda kueri termasuk dalam instance yang ditentukan untuk sumber data. Penting Daftar drop-down Nama Sumber Data hanya menampilkan sumber data yang Anda berwenang untuk gunakan. Jika Anda ingin menggunakan sumber data lain, hubungi administrator untuk memberikan izin yang diperlukan di halaman Security Center. Untuk informasi lebih lanjut, lihat Gunakan fitur kontrol kueri dan analisis data.

Klik OK.

Buat tabel pemetaan untuk tabel dan jalankan pernyataan SQL.
Jika tabel pemetaan telah dibuat untuk tabel Anda, Anda dapat melewati langkah ini.
Penting
Saat membuat tabel pemetaan untuk tabel, pastikan bahwa tipe data kolom di tabel pemetaan sesuai dengan tipe data kolom di tabel. Untuk informasi lebih lanjut, lihat Pemetaan tipe data di SQL.
1. Di editor SQL untuk file, tulis pernyataan SQL untuk membuat tabel pemetaan. Untuk informasi lebih lanjut, lihat Buat tabel pemetaan untuk tabel.
  Saat membuat tabel pemetaan untuk tabel, pastikan bahwa tabel pemetaan memiliki nama dan kolom kunci utama yang sama dengan tabel.
  Catatan
  Jika indeks pencarian dibuat untuk tabel data, Anda dapat membuat tabel pemetaan untuk indeks pencarian. Dengan cara ini, Anda dapat menjalankan pernyataan SQL untuk menanyakan data berdasarkan indeks pencarian. Untuk informasi lebih lanjut, lihat Buat tabel pemetaan untuk indeks pencarian.
  Contoh pernyataan SQL berikut memberikan contoh cara membuat tabel pemetaan untuk tabel bernama test_table:
```
CREATE TABLE `test_table` (
    `pk` VARCHAR(1024), 
    `long_value` BIGINT(20), 
    `double_value` DOUBLE, 
    `string_value` MEDIUMTEXT, 
    `bool_value` BOOL, 
    PRIMARY KEY(`pk`)
);
```
2. Klik pernyataan SQL dan klik Run di toolbar.
  Hasil eksekusi ditampilkan di tab Hasil editor SQL.
Jalankan pernyataan SQL untuk menanyakan data di tabel.
1. Di editor SQL untuk file, tulis pernyataan SELECT untuk menanyakan data. Untuk informasi lebih lanjut, lihat Kueridata.
  Contoh pernyataan SQL berikut memberikan contoh cara menanyakan data di tabel test_table dan mendapatkan hingga 20 baris data:
```
SELECT `pk`, `long_value`, `double_value`, `string_value`, `bool_value` FROM test_table LIMIT 20;
```
2. Klik pernyataan SQL dan klik Run di toolbar.
  Hasil eksekusi ditampilkan di tab Hasil editor SQL.

Jalankan pernyataan SQL untuk menanyakan data di instance model TimeSeries

Pergi ke halaman analisis data.
1. Masuk ke Konsol DataWorks sebagai administrator proyek.
2. Di panel navigasi di sebelah kiri, pilih DataAnalysis > SQL Query.
3. Di halaman SQL Query, pilih wilayah, pilih ruang kerja yang ingin Anda kelola, lalu klik Go to SQL Query.
Buat file kueri SQL.
1. Di panel navigasi di sebelah kiri halaman Kueri SQL, gerakkan pointer ke atas ikon plus di sebelah kanan My Files dan pilih Create File.
2. Di kotak dialog Create File, masukkan nama file dan klik OK.
  Di panel navigasi di sebelah kiri, Anda dapat melihat file yang telah dibuat.

Buka editor SQL untuk file yang dibuat dan konfigurasikan informasi tentang sumber data yang ingin Anda kueri.

Di panel navigasi di sebelah kiri halaman Kueri SQL, klik File Saya dan klik file yang telah dibuat. Di pojok kanan atas editor SQL yang muncul, klik ikon .

Di kotak dialog yang muncul, konfigurasikan parameter. Tabel berikut menjelaskan parameter.

Parameter	Deskripsi
Ruang Kerja	Ruang kerja yang datanya ingin Anda kueri. Pilih ruang kerja berdasarkan kebutuhan bisnis Anda.
Tipe Sumber Data	Tipe sumber data yang datanya ingin Anda kueri. Pilih Tablestore.
Nama Sumber Data	Nama sumber data yang datanya ingin Anda kueri. Pilih sumber data yang telah Anda tambahkan. Tabel yang ingin Anda kueri termasuk dalam instance yang ditentukan untuk sumber data. Penting Daftar drop-down Nama Sumber Data hanya menampilkan sumber data yang Anda berwenang untuk gunakan. Jika Anda ingin menggunakan sumber data lain, hubungi administrator untuk memberikan izin yang diperlukan di halaman Security Center. Untuk informasi lebih lanjut, lihat Gunakan fitur kontrol kueri dan analisis data.

Klik OK.

Buat tabel pemetaan untuk tabel dan jalankan pernyataan SQL.
Setelah Anda membuat tabel seri waktu, sistem secara otomatis membuat tabel pemetaan dalam model nilai tunggal dan tabel pemetaan untuk metadata seri waktu untuk tabel seri waktu tersebut. Nama tabel pemetaan dalam model nilai tunggal sama dengan nama tabel seri waktu. Nama tabel pemetaan untuk metadata seri waktu adalah nama tabel seri waktu dengan akhiran ::meta.
Jika Anda ingin menggunakan tabel pemetaan dalam model multi-nilai untuk menanyakan data seri waktu di tabel seri waktu, Anda harus membuat tabel pemetaan dalam model multi-nilai. Jika Anda tidak ingin menggunakan tabel pemetaan dalam model multi-nilai untuk menanyakan data seri waktu, Anda tidak perlu membuat tabel pemetaan dalam model multi-nilai.
Penting
Saat membuat tabel pemetaan untuk tabel, pastikan bahwa tipe data kolom di tabel pemetaan sesuai dengan tipe data kolom di tabel. Untuk informasi lebih lanjut, lihat Pemetaan tipe data di SQL. Untuk informasi lebih lanjut tentang tipe data kolom di tabel pemetaan untuk tabel seri waktu, lihat Tabel pemetaan untuk tabel seri waktu di SQL.
1. Di editor SQL untuk file, tulis pernyataan SQL untuk membuat tabel pemetaan. Untuk informasi lebih lanjut, lihat Tabel pemetaan untuk tabel seri waktu di SQL.
  Contoh pernyataan SQL berikut memberikan contoh cara membuat tabel pemetaan dalam model multi-nilai bernama timeseries_table::muti_model untuk tabel seri waktu. Metrik dalam tabel pemetaan adalah cpu, memory, dan disktop: Contoh pernyataan SQL:
```
CREATE TABLE `timeseries_table::muti_model` (
  `_m_name` VARCHAR(1024), 
  `_data_source` VARCHAR(1024), 
  `_tags` VARCHAR(1024),
  `_time` BIGINT(20),
  `cpu` DOUBLE(10),
  `memory` DOUBLE(10),
  `disktop` DOUBLE(10),
  PRIMARY KEY(`_m_name`,`_data_source`,`_tags`,`_time`)
);
```
2. Klik pernyataan SQL dan klik Run di toolbar.
  Hasil eksekusi ditampilkan di tab Hasil editor SQL.
Jalankan pernyataan SQL untuk menanyakan data di tabel.
1. Di editor SQL untuk file, tulis pernyataan SELECT untuk menanyakan data. Untuk informasi lebih lanjut, lihat Contoh SQL.
  - Kueri data menggunakan tabel pemetaan dalam model nilai tunggal
    Contoh pernyataan SQL berikut memberikan contoh cara menanyakan data yang jenis metriknya adalah basic_metric dalam tabel data seri waktu:
```
SELECT * FROM timeseries_table WHERE _m_name = "basic_metric" LIMIT 10;
```
  - Kueri data menggunakan tabel pemetaan untuk metadata seri waktu
    Contoh pernyataan SQL berikut memberikan contoh cara menanyakan seri waktu yang nama metriknya adalah basic_metric dalam tabel pemetaan untuk metadata seri waktu:
```
SELECT * FROM  `timeseries_table::meta` WHERE _m_name = "basic_metric" LIMIT 100;
```
  - Kueri data menggunakan tabel pemetaan dalam model multi-nilai
    Contoh pernyataan SQL berikut memberikan contoh cara menanyakan informasi tentang metrik dalam seri waktu yang nilai cpu-nya lebih besar dari 20.0 menggunakan tabel pemetaan dalam model multi-nilai:
```
SELECT cpu,memory,disktop FROM `timeseries_table::muti_model` WHERE cpu > 20.0 LIMIT 10;
```
2. Klik pernyataan SQL dan klik Run di toolbar.
  Hasil eksekusi ditampilkan di tab Hasil editor SQL.

Aturan penagihan

Biaya Tablestore

Saat Anda menjalankan pernyataan SQL di DataWorks untuk mengakses sumber daya Tablestore, tidak ada biaya yang dihasilkan untuk pernyataan SQL tersebut. Namun, jika operasi seperti pemindaian tabel atau kueri indeks dilakukan selama eksekusi pernyataan SQL, biaya akan dihasilkan untuk operasi tersebut. Untuk informasi lebih lanjut, lihat Item yang dapat ditagih dari kueri SQL.

Biaya sumber daya lainnya

Saat Anda menggunakan alat DataWorks, Anda akan dikenakan biaya untuk fitur dan sumber daya tertentu. Untuk informasi lebih lanjut, lihat Panduan Pembelian.

Referensi

Anda juga dapat menjalankan pernyataan SQL untuk menanyakan data di konsol Tablestore atau CLI Tablestore atau dengan menggunakan SDK Tablestore, Java Database Connectivity (JDBC), atau driver Tablestore untuk Go. Untuk informasi lebih lanjut, lihat Metode Penggunaan Kueri SQL.
Anda juga dapat menghubungkan instance Tablestore ke Data Management (DMS) dan kemudian menjalankan pernyataan SQL untuk menanyakan dan menganalisis data Tablestore. Untuk informasi lebih lanjut, lihat Hubungkan Tablestore ke DMS.
Anda dapat menggunakan mesin komputasi seperti MaxCompute, Spark, Hive, HadoopMR, Function Compute, Realtime Compute for Apache Flink, dan PrestoDB untuk menghitung dan menganalisis data dalam tabel. Untuk informasi lebih lanjut, lihat Ikhtisar.
Jika Anda ingin mempercepat kueri data dan komputasi dengan menjalankan pernyataan SQL, Anda dapat membuat indeks sekunder atau indeks pencarian. Untuk informasi lebih lanjut, lihat Kebijakan Pemilihan Indeks dan Pushdown Komputasi.
Anda juga dapat menggunakan Integrasi Data DataWorks untuk memigrasikan data dari sumber data seperti MySQL, Oracle, Kafka, HBase, MaxCompute, PolarDB-X 2.0, dan Tablestore ke Tablestore. Untuk informasi lebih lanjut, lihat Integrasi Data.