IoT Platform menyediakan fitur untuk mengonfigurasi sumber data layanan cloud, memungkinkan impor data dari berbagai produk Alibaba Cloud ke dalam IoT Platform guna sinkronisasi dan analisis di DataService Studio. Topik ini menjelaskan cara menambahkan, menghapus, dan mengaktifkan sinkronisasi untuk sumber data layanan cloud.
Prasyarat
Sebuah instance IoT Platform Enterprise Edition telah dibeli. Untuk informasi lebih lanjut, lihat Beli instance Enterprise Edition.
Informasi Penagihan
Menyinkronkan data dari sumber data layanan cloud ke IoT Platform akan dikenakan biaya unit pemrosesan data (DPU).
Batasan
Saat ini, hanya file dalam Bucket OSS yang dapat disinkronkan ke DataService Studio IoT Platform.
Setiap file dalam Bucket OSS tidak boleh melebihi 1 GB, dan file harian harus diorganisir dalam folder bernama berdasarkan tanggal.
Format tanggal yang diterima meliputi:
Hari:
YYYYMMDD, contohnya:20230302.Jam:
YYYYMMDDHH, contohnya2023030213.
Buat Sumber Data Layanan Cloud
Di Konsol IoT Platform, klik Overview. Di tab Overview, temukan instance yang ingin Anda kelola dan klik ID atau nama instance tersebut.
Di bilah navigasi kiri, pilih DataService Studio > Data Ingestion, lalu klik tab Cloud Service.
Di tab Cloud Service, klik Create Cloud Service Data Source.
Di panel kanan, ikuti langkah-langkah berikut untuk menyelesaikan konfigurasi sumber data layanan cloud.
Informasi Dasar
Di halaman wizard Basic Information, konfigurasikan parameter berikut.
Parameter
Deskripsi
Nama
Tentukan nama untuk sumber data layanan cloud, yang dapat mencakup karakter Cina, huruf Inggris, angka, titik (.), garis bawah (_), dan tanda kurung (), hingga maksimum 32 karakter.
Deskripsi
Berikan deskripsi untuk sumber data layanan cloud.
Tipe Layanan Cloud
Saat ini, hanya OSS yang didukung.
Bucket
Pilih sebuah Bucket OSS.
Untuk petunjuk membuat bucket di OSS, lihat Buat bucket.
PentingSebelum mengonfigurasi daftar bucket, klik Create di sebelah kanan peran yang belum dibuat, dan buat terlebih dahulu peran terkait layanan di akun Alibaba Cloud Anda untuk memberi otorisasi kepada DataService Studio IoT Platform agar dapat mengakses dan menyinkronkan data dari Bucket OSS Anda.
Untuk informasi lebih lanjut tentang peran terkait layanan, lihat Izin yang diperlukan oleh layanan data untuk mengakses sumber data layanan cloud.
Direktori Induk
Masukkan nama direktori induk untuk file dalam bucket.
Untuk panduan mengelola direktori file, lihat Kelola direktori.
Klik Next.
Pemetaan Bidang
Di halaman wizard Field Mapping, atur format data untuk sumber data.
Parameter
Deskripsi
Data Format
Pilih dari opsi berikut:
JSON: Pilih format JSON.
ProtoBuf: Pilih format ProtoBuf.
CSV: Pilih format file CSV.
Customize: Gunakan skrip kustom untuk memparsing format data.
Row Delimiter
Pilih dari opsi berikut: System Default Delimiter, Comma, Vertical Line, Space, Tab Character, Customize.
Memilih System Default Delimiter secara otomatis mencocokkan pemisah sistem.
Saat memilih Customize, masukkan karakter yang terlihat.
CatatanSaat Data Format adalah JSON, Row Delimiter tidak bisa menjadi Comma.
Untuk Data Format sebagai ProtoBuf, digunakan jeda baris spesifik protokol. Saat menulis data ke file, gunakan
writeDelimitedTo(Java) ataudelimited_message_util.h(C++), dan pemisah baris kustom tidak didukung.Ketika Data Format adalah CSV, nilai default untuk Row Delimiter adalah System Default Delimiter dan tidak dapat diubah.
Column Delimiter
Konfigurasikan pemisah kolom hanya jika Data Format diatur ke CSV.
Opsi: Pilih Comma, Vertical Line, Space, Tab Character, atau Customize sesuai kebutuhan.
Klik Configure di kotak dialog Field Mapping untuk menyelesaikan konfigurasi pemetaan bidang untuk sumber data.
Konfigurasikan data sampel untuk penguraian format berdasarkan format data.
Format Data
Operasi
JSON
Di kotak Data Sampel, masukkan data sampel dalam format JSON. Hanya entri data satu baris yang didukung.
PentingEntri data dalam format array tidak didukung.
ProtoBuf
Unggah file .desc dengan mengklik Unggah File .desc untuk mengurai data format ProtoBuf.
Untuk petunjuk menghasilkan file .desc, lihat Lampiran: Menghasilkan File .desc.
Pilih tipe pesan dan unggah data sampel dengan mengklik Unggah File Data Biner.
PentingEntri data dalam format array tidak didukung.
CSV
Masukkan langsung data sampel di kotak Data Sampel.
Data sampel harus mencakup nama kolom dan dibatasi satu baris data. Sebagai contoh, dengan Column Delimiter diatur sebagai Comma:
productKey,deviceName,time,temperature,humidity g9rp0*****,device1,20230102,23,30Customize
Pilih bahasa skrip dan masukkan skrip di kotak input Edit Skrip.
Bahasa skrip yang didukung termasuk Javascript (ecmascript 5), dengan nama fungsi didefinisikan sebagai
parse_line.Untuk template skrip dan contoh, lihat Tulis skrip kustom.
Di tab Input Analog, masukkan data pelaporan perangkat analog sesuai dengan pemisah baris.
Selesaikan langkah-langkah berikut untuk memvalidasi penguraian data:
Jika Data Format adalah JSON, ProtoBuf, atau CSV, klik Validasi Penguraian:
Jika penguraian berhasil, informasi bidang yang diuraikan akan ditampilkan di bawah Data Storage Type.
Jika penguraian gagal, sesuaikan data sampel seperti yang disarankan dan validasi ulang.
Jika Data Format adalah Customize, klik Eksekusi:
Setelah eksekusi berhasil, data yang diuraikan akan muncul di tab Hasil Eksekusi.
Jika eksekusi gagal, revisi skrip berdasarkan umpan balik dan eksekusi ulang untuk validasi.
Di daftar bidang yang diuraikan, tetapkan Field Display Name dan tentukan Primary Key.
Field Display Name dapat mencakup karakter Cina, huruf Inggris, angka, garis bawah (_), tanda hubung (-), dan tanda kurung (), dengan panjang maksimum 30 karakter.
Klik Confirm.
Klik Next.
Siklus Sinkronisasi
Pilih frekuensi untuk Synchronization Cycle: Hour atau Day.
Pilih Earliest Synchronization Time.
Klik Finish.
Setelah berhasil membuat sumber data layanan cloud:
Di tab Data Ingestion > Cloud Service, tugas sinkronisasi sumber data layanan cloud baru terdaftar, dengan Synchronization Status diatur ke Stopped secara default. Anda harus mengaktifkan sinkronisasi secara manual untuk sumber data layanan cloud. Untuk detailnya, lihat Aktifkan Sinkronisasi Sumber Data Layanan Cloud.
Di tab Data Storage > Cold Data Storage > Custom Storage Table, tabel penyimpanan yang sesuai dibuat dengan nama sumber data layanan cloud sebagai nama tabel.
Aktifkan Sinkronisasi Sumber Data Layanan Cloud
Ikuti langkah-langkah berikut untuk mengaktifkan sinkronisasi data dan memungkinkan data layanan cloud dimuat ke DataService Studio:
Navigasikan ke tab Cloud Service dan temukan tugas sinkronisasi sumber data layanan cloud yang ingin Anda aktifkan.
Aktifkan sakelar Synchronization Status di kolom Stopped yang sesuai .
Setelah diaktifkan, Synchronization Status dari tugas akan berubah menjadi Synchronizing. Sistem kemudian akan menjalankan tugas sinkronisasi sesuai dengan siklus yang ditetapkan, mentransfer data layanan cloud ke tabel penyimpanan kustom di DataService Studio.
Operasi Opsional
Edit Konfigurasi Sumber Data Layanan Cloud
Di tab Cloud Service, temukan sumber data layanan cloud yang ingin Anda edit.
Klik tombol Edit di kolom Operation yang sesuai.
Di panel Edit Cloud Service Data Source, modifikasi konfigurasi terkait sesuai kebutuhan.
Cloud Service Type di bagian Basic Information dan tabel penyimpanan kustom yang dibuat di bagian Field Mapping tidak dapat diedit; semua parameter lainnya dapat diubah.
Hapus Sumber Data Layanan Cloud
Sumber data layanan cloud dapat dihapus hanya ketika status sinkronisasinya diatur ke berhenti.
Harap dicatat bahwa setelah penghapusan, data tidak akan lagi disinkronkan. Berhati-hatilah saat melanjutkan tindakan ini.
Pergi ke tab Cloud Service dan temukan sumber data layanan cloud yang ingin Anda hapus.
Klik tombol Delete di kolom Operation yang sesuai.
Konfirmasi penghapusan dengan mengklik Confirm.
Apa yang Harus Dilakukan Selanjutnya
Untuk mengelola tugas sinkronisasi dan tabel penyimpanan data, lihat Kelola pekerjaan sinkronisasi data dan tabel penyimpanan.