DataHub:Buat dan konfigurasikan topik

Buat topik

Pada halaman detail proyek, klik Create Topic. Anda dapat membuat topik dengan dua cara.

Create a custom format

Catatan: Jika Anda mengaktifkan mode shard extension, shard dapat diskalakan secara horizontal. Operasi merging dan splitting tidak lagi didukung. Anda hanya dapat menambah jumlah shard, bukan menguranginya. Setelah mengaktifkan mode ini, Anda dapat menggunakan Kafka untuk mengonsumsi topik tersebut.

Anda dapat membuat topik sesuai kebutuhan. Untuk informasi selengkapnya tentang parameter, lihat dokumen Terms.

Create a topic by importing a MaxCompute table schema

Langkah 1

Tentukan parameter untuk mengakses MaxCompute.

Langkah 2

Klik Next untuk mengimpor skema tabel MaxCompute. Anda dapat mengubah nama topik, komentar bidang, dan apakah suatu bidang boleh kosong, sesuai kebutuhan. Catatan: Jika Anda mengaktifkan mode shard extension, shard dapat diskalakan secara horizontal. Operasi merging dan splitting tidak lagi didukung. Anda hanya dapat menambah jumlah shard, bukan menguranginya. Setelah mengaktifkan mode ini, Anda dapat menggunakan Kafka untuk mengonsumsi topik tersebut.

Lihat topik

1. Buka halaman proyek dan klik View.

2. Lihat detail topik, seperti ukuran penyimpanannya.

Hapus topik

Untuk menghapus topik, klik tombol Delete pada daftar topik. Catatan: Saat Anda menghapus topik, semua datanya dan sumber daya terkait, seperti shard dan connector, juga akan dihapus. Operasi ini tidak dapat dikembalikan. Lakukan dengan hati-hati.

Tambahkan versi

DataHub memungkinkan Anda memodifikasi bidang dari topik yang sudah ada dan menghasilkan versi baru.

Catatan: Untuk data yang ditulis ke DataHub menggunakan DTS, plugin Logstash, plugin Flume, plugin OGG, atau plugin Fluentd, SchemaRegister tidak didukung. Anda harus menambahkan bidang menggunakan software development kit (SDK) Manage topics atau Command line interface.

Istilah:

• Nomor versi: Saat Anda membuat topik Tuple, nomor versi akan dibuat secara otomatis. Nilai awalnya adalah 0. Setiap kali Anda memodifikasi topik dengan cara cloning atau menambahkan versi, nomor versi akan bertambah 1.

• Clone: Tambahkan bidang baru sekaligus mempertahankan skema tabel asli.

Clone (Direkomendasikan)

Anda dapat melakukan cloning skema untuk menambah atau memodifikasi bidang. Metode ini terutama digunakan untuk menambahkan bidang baru.

Langkah 1

Pada tab Schema Details, klik Clone, lalu klik tombol Add Column.

Masukkan informasi yang diperlukan dan klik OK.

Tambahkan versi

Anda dapat menambahkan versi baru untuk membuat skema baru tanpa mewarisi struktur aslinya.

Langkah 1

Pada tab Schema Details, klik tombol Add Version. Pada kotak dialog yang muncul, klik Add Column.

Langkah 2

Masukkan informasi yang diperlukan dan klik OK. Versi baru telah ditambahkan.

Modifikasi lifecycle topik

DataHub memungkinkan Anda memodifikasi lifecycle topik. Berikut adalah contoh kodenya:

• Parameter

  • projectName: Nama proyek.

  • topicName: Nama topik.

  • lifeCycle: Lifecycle topik.

  • comment: Komentar untuk topik.

• Pengecualian

  • DatahubClientException

  • InvalidParameterException

  • AuthorizationFailureException

  • ResourceNotFoundException

• Contoh

  public static void updatetopic() {
    try {
        int lifeCycle = 7;
        String comment = "test";
        datahubClient.updateTopic(Constant.projectName, Constant.topicName, lifeCycle, comment );
        System.out.println("Update topic lifecycle success!");
    } catch (InvalidParameterException e) {
        System.out.println("Invalid parameter. Check your parameters.");
        System.exit(1);
    } catch (AuthorizationFailureException e) {
        System.out.println("AK error. Check your AccessKey ID and AccessKey secret.");
        System.exit(1);
    } catch (ResourceNotFoundException e) {
        System.out.println("Project or topic not found.");
        System.exit(1);
    } catch (DatahubClientException e) {
        System.out.println("Other error.");
        System.exit(1);
    }
  }