OSS Tables adalah layanan penyimpanan data lake terstruktur yang disediakan oleh Alibaba Cloud Object Storage Service (OSS). Berbasis format tabel terbuka Apache Iceberg, OSS Tables menyediakan penyimpanan data terstruktur berbiaya rendah dan berkinerja tinggi untuk skenario manajemen data pelatihan AI dan analisis OLAP. OSS Tables dilengkapi mekanisme pemeliharaan data otomatis bawaan—seperti compaction, manajemen snapshot, dan pembersihan file yang tidak direferensikan—yang memberikan pengalaman data lake berarsitektur tanpa server dengan operasi nol (zero-ops). DataWorks Data Integration memungkinkan Anda menulis data ke sumber data OSS Tables. Topik ini menjelaskan cara menggunakan sumber data OSS Tables.
Batasan
Item | Deskripsi |
Resource group | Hanya resource group Serverless yang didukung. |
Arah baca/tulis | Hanya operasi tulis sebagai tujuan yang didukung. |
Mode sinkronisasi | Hanya Hive yang didukung sebagai sumber, dan data hanya dapat ditulis dalam mode offline batch. |
Buat sumber data
Sebelum memulai, pastikan kondisi berikut terpenuhi:
Layanan Alibaba Cloud OSS Tables telah diaktifkan, serta bucket dan namespace OSS Tables telah dibuat.
Ruang kerja DataWorks tersedia, dan Anda memiliki akses ke Management Center ruang kerja tersebut.
Pasangan AccessKey atau peran RAM tersedia untuk autentikasi akses.
Lakukan langkah-langkah berikut:
Masuk ke Konsol DataWorks dan pilih Wilayah target di bilah navigasi atas.
Di panel navigasi kiri, pilih . Di daftar drop-down, pilih ruang kerja target, lalu klik Enter Management Center.
Di panel navigasi kiri halaman Management Center, klik Data Sources.
Di halaman Data Sources, klik Add Data Source.
Di kotak dialog Add Data Source, cari dan pilih OSS Tables.
Di halaman konfigurasi sumber data OSS Tables, konfigurasikan parameter yang dijelaskan dalam tabel berikut.
Parameter
Deskripsi
Data Source Name
Nama sumber data. Nama harus unik dalam ruang kerja dan hanya boleh terdiri dari huruf, angka, dan garis bawah (_). Nama tidak boleh diawali dengan angka atau garis bawah.
Configuration Mode
Hanya Connection String Mode yang didukung.
Endpoint
Pilih endpoint instans engine OSS Tables dari daftar drop-down.
Access Identity
Pilih metode autentikasi: AccessKey Pair (otentikasi menggunakan ID AccessKey dan AccessKey Secret) atau Alibaba Cloud RAM Role (otentikasi menggunakan RAM role).
Bucket Name
Masukkan nama bucket OSS Tables.
Namespace
Masukkan namespace OSS Tables.
Setelah mengonfigurasi parameter, klik Test Connectivity di bagian konfigurasi koneksi untuk memverifikasi konektivitas jaringan antara sumber data dan resource group Serverless.
Jika uji konektivitas berhasil, klik Complete untuk membuat sumber data.
Jika uji konektivitas gagal, lihat Network connectivity untuk memecahkan masalah jaringan.
Kembangkan tugas sinkronisasi data
Sinkronisasi offline batch untuk seluruh database
Sumber yang didukung: Hive.
Panduan konfigurasi: Sinkronkan data dari seluruh database ke OSS Tables dalam mode offline batch.