ApsaraMQ for Kafka:Buat konektor sink OSS

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Memiliki instans ApsaraMQ for Kafka dengan fitur konektor diaktifkan

• Sebuah topik yang dibuat di instans ApsaraMQ for Kafka

• Sebuah Bucket OSS yang dibuat di Konsol OSS

• Mengaktifkan Function Compute (konektor meneruskan data melalui FC untuk mencapai OSS)

Batasan

• Persyaratan wilayah yang sama: Instans ApsaraMQ for Kafka, bucket OSS, dan FC harus berada di wilayah yang sama. Untuk informasi selengkapnya, lihat Batasan.

• Hanya UTF-8: ApsaraMQ for Kafka melakukan serialisasi pesan menjadi string berkode UTF-8. Data biner tidak didukung.

• Biaya: FC menyediakan kuota sumber daya gratis. Penggunaan melebihi kuota tersebut akan ditagih sesuai dengan aturan penagihan FC. Untuk memantau eksekusi fungsi, konfigurasikan pencatatan log FC.

Buat dan terapkan konektor

{
    "Version": "1",
    "Statement": [
        {
            "Action": [
                "oss:GetObject",
                "oss:PutObject"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Kirim pesan uji

Setelah penerapan, kirim pesan uji untuk memverifikasi konektor.

1. Di halaman Connectors, temukan konektor tersebut dan klik Test di kolom Actions.

2. Di panel Send Message, pilih metode pengiriman:

   • Console: Masukkan Message Key (misalnya, demo) dan Message Content (misalnya, {"key": "test"}). Secara opsional, atur Send to Specified Partition ke Yes dan masukkan Partition ID. Untuk informasi cara menemukan ID partisi, lihat View partition status.

   • Docker: Jalankan perintah Docker yang ditampilkan di bagian Run the Docker container to produce a sample message.

   • SDK: Pilih SDK untuk bahasa pemrograman atau framework Anda dan ikuti petunjuknya.

Verifikasi hasil

Periksa apakah pesan uji telah tiba di bucket OSS Anda:

1. Buka Konsol OSS dan buka halaman Files dari bucket target. Untuk informasi selengkapnya, lihat Ikhtisar.

2. Konfirmasi bahwa objek baru muncul. Munculnya objek baru menandakan bahwa konektor berfungsi.

Setiap objek yang diekspor berisi array JSON dalam format berikut:

[
    {
        "key": "123",
        "offset": 4,
        "overflowFlag": true,
        "partition": 0,
        "timestamp": 1603779578478,
        "topic": "Test",
        "value": "1",
        "valueSize": 272687
    }
]

Konfigurasikan sumber daya Function Compute

Untuk menyesuaikan sumber daya FC yang digunakan oleh konektor:

1. Di halaman Connectors, temukan konektor tersebut, klik More di kolom Actions, lalu pilih Configure Function.

2. Konfigurasikan sumber daya di Konsol Function Compute sesuai kebutuhan.