DataHub：Ikhtisar

Fitur sinkronisasi data DataHub

Fitur sinkronisasi data DataHub menyediakan kemampuan sebagai sumber data (data source) dan sink. Fitur ini memungkinkan Anda menyinkronkan data dari suatu topik ke produk Alibaba Cloud lainnya secara real-time/near real-time untuk memfasilitasi pertukaran data antar layanan. Saat ini, layanan yang didukung meliputi MaxCompute (sebelumnya ODPS), AnalyticDB for MySQL (ADS), ApsaraDB RDS, Tablestore, Object Storage Service (OSS), Elasticsearch, dan Function Compute. Anda cukup menulis data ke DataHub sekali, lalu mengonfigurasi sinkronisasi data agar data tersebut dapat digunakan di seluruh layanan cloud yang didukung, sehingga membentuk alur data end-to-end.

Layanan Alibaba Cloud yang didukung oleh DataHub

Catatan:

• Untuk MaxCompute: Sinkronisasi terjadi setiap 5 menit atau ketika ukuran batch mencapai 64 MB.

• Untuk Tablestore, OSS, Elasticsearch, Function Compute, dan Hologres: Sinkronisasi terjadi setiap 20 detik atau ketika ukuran batch mencapai 4 MB.

• Untuk MySQL, RDS, dan ADS 3.0: Sinkronisasi terjadi setiap 20 detik atau ketika ukuran batch mencapai 512 KB.

Catatan penggunaan

1. Bila memungkinkan, sinkronkan data antar layanan Alibaba Cloud dalam wilayah (region) yang sama untuk menghindari masalah konektivitas jaringan lintas wilayah dan mengurangi latensi jaringan.

2. Karena adanya isolasi jaringan Alibaba Cloud, gunakan hanya titik akhir internal (classic network) dari layanan tujuan saat mengonfigurasi endpoint. Titik akhir publik tidak didukung.

3. Sinkronisasi data DataHub menggunakan semantik at-least-once. Dalam kasus langka—seperti kegagalan jaringan atau layanan—catatan duplikat mungkin muncul di tujuan. Lakukan deduplikasi data sesuai kebutuhan.

4. Saat Anda membuat tugas sinkronisasi, DataHub secara otomatis membuat ID subscription untuk melacak offset baca dari topik DataHub. Jangan ubah ID subscription ini.

5. Hanya pemilik atau pembuat topik DataHub yang dapat membuat konektor (tugas sinkronisasi).

6. Anda dapat membuat hingga dua tugas sinkronisasi per jenis sinkronisasi.

Daftar putih IP

Daftar putih layanan

MaxCompute mendukung daftar putih IP tingkat proyek. Jika Anda mengaktifkan daftar putih IP, DataHub tidak dapat menyinkronkan data ke MaxCompute. Untuk mengatasi hal ini, MaxCompute menyediakan daftar putih layanan. Tambahkan nama layanan DataHub ke daftar putih layanan MaxCompute agar sinkronisasi data berhasil.

Nama layanan DataHub saat ini adalah DataHub. Anda dapat mengonfigurasinya menggunakan SDK atau odpscmd.

Contoh berikut menunjukkan cara mengonfigurasi SDK:

public static void setServiceName() throws OdpsException {
    String endpoint = "";
    String project = "";
    String accessId = "";
    String accessKey = "";

    Account account = new AliyunAccount(accessId, accessKey);
    Odps odps = new Odps(account);
    odps.setEndpoint(endpoint);
    odps.setDefaultProject(project);

    Map<String, String> prop = new HashMap<>();
    // Tambahkan nama layanan DataHub ke daftar putih layanan MaxCompute.
    // Pisahkan beberapa nama dengan koma. Setiap pembaruan akan menimpa pengaturan sebelumnya.
    prop.put("odps.security.ip.whitelist.services", "DataHub");
    Group group = new Groups(odps).get("groupName");
    group.updateProject(project, null, null, prop);

    // Verifikasi pengaturan daftar putih layanan saat ini.
    prop = odps.projects().get(project).getAllProperties();
    System.out.println("daftar layanan saat ini: " + prop.get("odps.security.ip.whitelist.services"));
}

Untuk pengaturan odpscmd, lihat contoh berikut.

Jalankan odpscmd, lalu masukkan perintah berikut.

setproject odps.security.ip.whitelist.services=DataHub;

Setelah konfigurasi selesai, Anda dapat memverifikasi keberhasilannya dengan cara berikut.

setproject;
## Jika output mencakup odps.security.ip.whitelist.services=DataHub, pengaturan berhasil.