ApsaraMQ for Kafka:MaxCompute havuz bağlayıcısı oluşturma

RAM rolü oluşturma

Resource Access Management (RAM) rolleri, güvenilir hizmet olarak doğrudan ApsaraMQ for Kafka'yı seçmeyi desteklemez. Bu nedenle bir RAM rolü oluştururken güvenilir hizmet olarak desteklenen herhangi bir hizmeti seçin. RAM rolü oluşturulduktan sonra güven ilkesini manuel olarak değiştirin.

1. RAM konsolu üzerinde oturum açın.

2. Sol gezinme bölmesinde Identities > Roles seçeneklerini belirleyin.

3. Roles sayfasında Create Role düğmesini tıklayın.

   Aşağıdaki görsel, Roles sayfasındaki Create Role düğmesini göstermektedir.

   

4. Create Role panelinde aşağıdaki işlemleri gerçekleştirin.

5. Güvenilen varlık türünü Alibaba Cloud Service olarak ayarlayın ve ardından Next düğmesini tıklayın.

6. Role Type bölümünde Normal Service Role seçeneğini belirleyin. Role Name alanına AliyunKafkaMaxComputeUser1 değerini girin. Select Trusted Service listesinden MaxCompute seçeneğini belirleyin ve Finish düğmesini tıklayın.

7. Roles sayfasında AliyunKafkaMaxComputeUser1 rolünü bulun ve AliyunKafkaMaxComputeUser1 bağlantısını tıklayın.

8. AliyunKafkaMaxComputeUser1 sayfasında Trust Policy sekmesini tıklayın ve ardından Edit Trust Policy düğmesini tıklayın.

9. Edit Trust Policy panelinde betikteki odps ifadesini alikafka ile değiştirin ve OK düğmesini tıklayın.

   Aşağıdaki ilke, değiştirmeden sonraki sonucu göstermektedir.

İzin ekleme

Bağlayıcının mesajları bir MaxCompute tablosuna senkronize etmesine izin vermek için oluşturduğunuz RAM rolüne en azından aşağıdaki izinleri vermeniz gerekir:

Önceki izinler ve bunların nasıl verileceği hakkında daha fazla bilgi için MaxCompute izinlerine bakın.

Aşağıdaki adımlar, bu konuda oluşturulan AliyunKafkaMaxComputeUser1 rolüne izinlerin nasıl verileceğini göstermektedir. MaxCompute, bir RAM rolünü kullanıcı olarak yönetir; bu nedenle bu bölümdeki her komut RAM$<accountid>:role/aliyunkafkamaxcomputeuser1 nesnesini hedef alır.

1. MaxCompute istemcisinde oturum açın.

2. RAM rolünü kullanıcı olarak eklemek için aşağıdaki komutu çalıştırın.

   add user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;

3. RAM rolüne MaxCompute'a erişmek için gereken en düşük ayrıcalığı verin.

4. RAM rolüne proje üzerindeki izinleri vermek için aşağıdaki komutu çalıştırın.

grant CreateInstance on project connector_test to user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;

2. RAM rolüne tablo üzerindeki izinleri vermek için aşağıdaki komutu çalıştırın.

grant Describe, Alter, Update on table test_kafka to user `RAM$<accountid>:role/aliyunkafkamaxcomputeuser1`;

MaxCompute havuz bağlayıcısı için gerekli konuları oluşturma

ApsaraMQ for Kafka konsolunda MaxCompute havuz bağlayıcısı için gerekli beş konuyu manuel olarak oluşturabilirsiniz: görev ofseti konusu, görev yapılandırması konusu, görev durumu konusu, aktif olmayan mektup kuyruğu konusu ve hata verisi konusu. Gerekli bölüm sayısı ve gerekli depolama motoru, aşağıdaki tabloda açıklandığı gibi konuya göre değişir.

Konu kaynaklarını tasarruf etmek için bir konuyu hem aktif olmayan mektup kuyruğu konusu hem de hata verisi konusu olarak kullanabilirsiniz. Aktif olmayan mektup kuyruğu konusu ve hata verisi konusu için depolama motoru yerel depolama veya cloud storage olabilir ve kalan özellikler bu bölümdeki konu özellikleri tablosunda açıklanan genel kuralları takip eder. Her konunun tam açıklaması için bkz. Kaynak Hizmeti Yapılandır sekmesindeki parametreler.

ApsaraMQ for Kafka konsolu üzerinde oturum açın.

Overview sayfasında, Resource Distribution bölümünde bir bölge seçin.

Instances sayfasında hedef örneğin adını tıklayın.

Soldaki gezinme bölmesinde Topics seçeneğini tıklayın.

Topics sayfasında Create Topic düğmesini tıklayın.

1. Create Topic panelinde konu özelliklerini ayarlayın ve ardından OK düğmesini tıklayın.

Her bağlayıcı konusunun özelliklerini önceki tabloda listelenen değerlere ayarlayın. Aşağıdaki tabloda tüm konu özellikleri açıklanmaktadır.

Konu oluşturulduktan sonra konu Topics sayfasındaki listede görünür. Bu konuları manuel olarak oluşturduğunuz için bağlayıcıyı oluştururken Resource Creation Method değerini Manual olarak ayarlayın ve ardından oluşturduğunuz konuların adlarını girin.

MaxCompute havuz bağlayıcısı için gerekli tüketici gruplarını oluşturma

ApsaraMQ for Kafka konsolunda MaxCompute havuz bağlayıcısının veri senkronizasyon görevi tarafından kullanılan Grubu manuel olarak oluşturabilirsiniz. Grubun adı connect-görev adı biçiminde olmalıdır; burada görev adı bağlayıcının adıdır. Daha fazla bilgi için bkz. Kaynak Hizmeti Yapılandır sekmesindeki parametreler.

1. ApsaraMQ for Kafka konsolu üzerinde oturum açın.

2. Overview sayfasında, Resource Distribution bölümünde bir bölge seçin.

3. Instances sayfasında hedef örneğin adını tıklayın.

4. Soldaki gezinme bölmesinde Groups seçeneğini tıklayın.

5. Groups sayfasında Create Group düğmesini tıklayın.

6. Create Group panelinde Group ID alanına Grubun adını girin, Description alanına kısa bir açıklama girin, etiketler ekleyin ve ardından OK düğmesini tıklayın.

7. Grup oluşturulduktan sonra Groups sayfasındaki listede görünür. Bağlayıcıyı oluştururken adını Connector Consumer Group alanına girin.

MaxCompute havuz bağlayıcısı oluşturma ve dağıtma

Verileri ApsaraMQ for Kafka'dan MaxCompute'a senkronize eden bir MaxCompute havuz bağlayıcısı oluşturun ve dağıtın.

1. ApsaraMQ for Kafka konsolu üzerinde oturum açın.

2. Overview sayfasında, Resource Distribution bölümünde bir bölge seçin.

3. Soldaki gezinme bölmesinde Connectors seçeneğini tıklayın.

4. Connectors sayfasında, Select Instance açılır listesinden bağlayıcının ait olduğu örneği seçin ve Create Connector düğmesini tıklayın.

1. Create Connector yapılandırma sihirbazı sayfasında aşağıdaki işlemleri gerçekleştirin.

1. Configure Basic Information sekmesinde iş gereksinimlerinize göre aşağıdaki parametreleri yapılandırın ve ardından Next düğmesini tıklayın.

   Parametre	Açıklama	Örnek
   Name	Bağlayıcının adı. Adlandırma kuralları: - Ad rakam, küçük harf ve tire (-) içerebilir ancak tire (-) ile başlayamaz. Ad 1 ila 48 karakter uzunluğunda olmalıdır. - Ad aynı ApsaraMQ for Kafka örneği içinde benzersiz olmalıdır. Bağlayıcının veri senkronizasyon görevi connect-görev adı adlı bir Grup kullanmalıdır. Grubu manuel olarak oluşturmazsanız sistem bunu otomatik olarak oluşturur.	kafka-maxcompute-sink
   Instance	Varsayılan olarak örnek adı ve örnek kimliği belirtilir.	demo alikafka_post-cn-st21p8vj****

2. Configure Source Service sekmesinde Data Source değerini ApsaraMQ for Kafka olarak ayarlayın, aşağıdaki parametreleri yapılandırın ve ardından Next düğmesini tıklayın.

   Not

   Zaten bir konu ve bir tüketici grubu oluşturduysanız manuel kaynak oluşturmayı seçin ve mevcut kaynaklarınızın bilgilerini girin. Aksi takdirde otomatik kaynak oluşturmayı seçin.

   Parametre	Açıklama	Örnek
   Data Source Topic	Verilerini senkronize etmek istediğiniz kaynak konu.	maxcompute-test-input
   Consumer Thread Concurrency	Kaynak konu için eşzamanlı tüketici iş parçacığı sayısı. Varsayılan değer: 6. Geçerli değerler: - 1 - 2 - 3 - 6 - 12	6
   Consumer Offset	Mesajların tüketildiği ofset. Geçerli değerler: - Earliest Offset: Tüketim en erken ofsetten başlar. - Latest Offset: Tüketim en son ofsetten başlar.	Earliest Offset
   VPC ID	Veri senkronizasyon görevinin çalıştığı VPC. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. Varsayılan olarak ApsaraMQ for Kafka örneğinin dağıtıldığı VPC kullanılır. Bu parametreyi belirtmenize gerek yoktur.	vpc-bp1xpdnd3l***
   vSwitch ID	Veri senkronizasyon görevinin çalıştığı vSwitch. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. vSwitch, ApsaraMQ for Kafka örneğiyle aynı VPC'de olmalıdır. Varsayılan olarak ApsaraMQ for Kafka örneğini dağıtırken belirttiğiniz vSwitch kullanılır.	vsw-bp1d2jgg81***
   Failure Handling Policy	Bir mesaj gönderilemediğinde hatanın oluştuğu konunun bölümüne aboneliğin devam edip edilmeyeceğini belirtir. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. Geçerli değerler: - Continue Subscription: Hatayla karşılaşan konunun bölümüne abone olmaya devam eder ve hata günlüğünü yazdırır. - Stop Subscription: Hatayla karşılaşan konunun bölümüne aboneliği durdurur ve hata günlüğünü yazdırır > Not: - Günlüklerin nasıl görüntüleneceği hakkında daha fazla bilgi için bağlayıcı işlemlerine bakın. - Hata kodlarına göre çözüm bulma hakkında daha fazla bilgi için Hata kodlarına bakın. - Hatayla karşılaşan konunun bölümüne aboneliği sürdürmek için ve teknik destekle iletişime geçin.	Continue Subscription
   Resource Creation Method	Bağlayıcının ihtiyaç duyduğu konuları ve Grubu oluşturma yöntemi. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. Geçerli değerler: - Auto: Sistem gerekli konuları ve Grubu sizin için oluşturur. Bunları önceden oluşturmadıysanız bu değeri seçin. - Manual: Konuları ve Grubu önceden oluşturduysanız bu değeri seçin ve ardından adlarını aşağıdaki alanlara girin.	Auto
   Connector Consumer Group	Bağlayıcının veri senkronizasyon görevi tarafından kullanılan Grup. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. Grubun adı connect-görev adı biçiminde olmalıdır.	connect-kafka-maxcompute-sink
   Task Offset Topic	Tüketici ofsetlerini saklayan konu. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. - Konu adı: Adın connect-offset ile başlaması önerilir. - Bölüm sayısı: Konunun bölüm sayısı 1'den büyük olmalıdır. - Depolama motoru: Konunun depolama motoru yerel depolama olmalıdır. - cleanup.policy: Konunun günlük temizleme ilkesi compact olmalıdır.	connect-offset-kafka-maxcompute-sink
   Task Configuration Topic	Görev yapılandırmalarını saklayan konu. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. - Konu adı: Adın connect-config ile başlaması önerilir. - Bölüm sayısı: Konunun bölüm sayısı 1 olmalıdır. - Depolama motoru: Konunun depolama motoru yerel depolama olmalıdır. - cleanup.policy: Konunun günlük temizleme ilkesi compact olmalıdır.	connect-config-kafka-maxcompute-sink
   Task Status Topic	Görev durumunu saklayan konu. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. - Konu adı: Adın connect-status ile başlaması önerilir. - Bölüm sayısı: Konunun bölüm sayısının 6 olarak ayarlanması önerilir. - Depolama motoru: Konunun depolama motoru yerel depolama olmalıdır. - cleanup.policy: Konunun günlük temizleme ilkesi compact olmalıdır.	connect-status-kafka-maxcompute-sink
   Dead-letter Queue Topic	Connect framework'ün anormal verilerini saklayan konu. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. Konu kaynaklarını tasarruf etmek için bu konuyu hata verisi konusu olarak kullanabilirsiniz. - Konu adı: Adın connect-error ile başlaması önerilir. - Bölüm sayısı: Konunun bölüm sayısının 6 olarak ayarlanması önerilir. - Depolama motoru: Konunun depolama motoru yerel depolama veya cloud storage olabilir.	connect-error-kafka-maxcompute-sink
   Error Data Topic	Havuzun anormal verilerini saklayan konu. Bu parametreyi görüntülemek için Configure Runtime Environment seçeneğini tıklayın. Konu kaynaklarını tasarruf etmek için bu konuyu aktif olmayan mektup kuyruğu konusu olarak kullanabilirsiniz. - Konu adı: Adın connect-error ile başlaması önerilir. - Bölüm sayısı: Konunun bölüm sayısının 6 olarak ayarlanması önerilir. - Depolama motoru: Konunun depolama motoru yerel depolama veya cloud storage olabilir.	connect-error-kafka-maxcompute-sink

3. Configure Destination Service sekmesinde Destination Service değerini MaxCompute olarak ayarlayın, aşağıdaki parametreleri yapılandırın ve ardından Create düğmesini tıklayın.

Bağlayıcı oluşturulduktan sonra Connectors sayfasında görüntüleyebilirsiniz.

2. Bağlayıcı oluşturulduktan sonra Connectors sayfasına gidin, oluşturduğunuz bağlayıcıyı bulun ve Actions sütununda Deploy düğmesini tıklayın.

Test mesajı gönderme

MaxCompute havuz bağlayıcısını dağıttıktan sonra verilerin MaxCompute'a senkronize edilip edilmediğini test etmek için ApsaraMQ for Kafka'nın kaynak konusuna bir mesaj gönderebilirsiniz.

Connectors sayfasında hedef bağlayıcıyı bulun ve Actions sütununda Test düğmesini tıklayın.

1. Send Message panelinde bir test mesajı gönderin.

Sending Method değerini Console olarak ayarlayın.

• Message Key metin kutusuna mesajın anahtarını girin; örneğin, demo.

• Message Content alanına test mesajının içeriğini girin; örneğin, {"key": "test"}.

• Mesajın belirli bir bölüme gönderilip gönderilmeyeceğini belirtmek için Send to Specified Partition değerini ayarlayın.

• Yes seçeneğini tıklayın ve Partition ID alanına bölüm kimliğini girin; örneğin, 0. Bölüm kimliğini sorgulama hakkında daha fazla bilgi için Bölüm durumunu görüntüleme konusuna bakın.

• Mesajı belirli bir bölüm belirtmeden göndermek için No seçeneğini tıklayın.

  Sending Method değerini Docker olarak ayarlayın ve mesajı göndermek için Run the Docker container to produce a sample message bölümündeki Docker komutunu çalıştırın.

Sending Method değerini SDK olarak ayarlayın. İş gereksinimlerinize göre kullanmak istediğiniz programlama dili veya çerçevenin yazılım geliştirme kitini (SDK) ve bağlantı yöntemini seçin, ardından SDK'yı kullanarak mesajlar gönderin.

Tablo verilerini görüntüleme

ApsaraMQ for Kafka'nın kaynak konusuna mesajlar gönderdikten sonra mesajların alınıp alınmadığını kontrol etmek için MaxCompute istemcisinde tablo verilerini görüntüleyin.

Aşağıdaki adımlar, bu konuda test_kafka tablosuna yazılan verilerin nasıl görüntüleneceğini göstermektedir. Bağlayıcı, her mesajı Partition parametresi için ayarladığınız granülerliğe göre mesajın yazıldığı zamana karşılık gelen bölüme yazar.

1. MaxCompute istemcisinde oturum açın.

2. Tablonun veri bölümlerini görüntülemek için aşağıdaki komutu çalıştırın.

   show partitions test_kafka;

   Aşağıdaki sonuç döndürülür:

   pt=11-17-2020 15
   
   OK

3. Önceki adımın döndürdüğü bölümdeki verileri görüntülemek için aşağıdaki komutu çalıştırın.

select * from test_kafka where pt ="11-17-2020 15";

Aşağıdaki sonuç döndürülür:

+----------------------+------------+------------+-----+-------+---------------+
| topic                | partition  | offset     | key | value | pt            |
+----------------------+------------+------------+-----+-------+---------------+
| maxcompute-test-input| 0          | 0          | 1   | 1     | 11-17-2020 15 |
+----------------------+------------+------------+-----+-------+---------------+

Sorgu satır döndürmezse show partitions komutunun döndürdüğü bölümü sorguladığınızdan emin olun, kaynak konuya abone olan Grubun tüketim ayrıntılarını kontrol edin ve yazılamayan mesajlar için bağlayıcının hata verisi konusu ile aktif olmayan mektup kuyruğu konusunu denetleyin.