Configure SSL to encrypt Kafka data connections - E-MapReduce

Secure Sockets Layer (SSL), istemciler ve sunucular arasında güvenli bir bağlantı kurmak için kullanılan bir ağ protokolüdür. SSL etkinleştirildiğinde, Dataflow kümesindeki üreticiler, tüketiciler ve brokerlar arasındaki mesaj alışverişleri dahil tüm veri aktarımları şifrelenir. Bu sayede ağ iletimi sırasında verilerin dinlenmesi veya değiştirilmesi önlenir.

Ön koşullar

EMR konsolunda Kafka hizmeti seçili bir Dataflow kümesi (Kafka kümesi) oluşturulmuş olmalıdır. Daha fazla bilgi için bkz. Dataflow Kafka kümesi oluşturma.

Yordam

Adım 1: SSL'i etkinleştirin

E-MapReduce, Kafka kümesi için SSL yapılandırmak üzere iki yöntem sunar:

Varsayılan sertifika ile SSL'i etkinleştirme: Hızlıca SSL'i etkinleştirmek için varsayılan E-MapReduce sertifikasını ve yapılandırma yöntemini kullanın.
Özel ayarlarla SSL'i etkinleştirme: SSL'i etkinleştirmek için kendi sertifikanızı ve yapılandırma değerlerinizi kullanın.

server.properties dosyasındaki kafka.ssl.config.type parametresi, E-MapReduce'teki SSL yapılandırma ilkesini kontrol eder.

Yöntem 1: Varsayılan

Not

Kafka kümeleri için SSL varsayılan olarak devre dışıdır. SSL'i hızlıca etkinleştirmek için aşağıdaki adımları izleyin.

Hizmet yapılandırma sayfasına gidin.
1. E-MapReduce konsolu nda oturum açın.
2. Üst gezinme çubuğundan ihtiyacınıza göre bir bölge ve bir kaynak grubu seçin.
3. Hedef kümenin İşlemler sütunundaki Services öğesini tıklayın.
4. Services sayfasında, Kafka hizmeti alanındaki Configure seçeneğini tıklayın.
Yapılandırma parametresini değiştirin.
1. Configure sayfasında server.properties sekmesini tıklayın.
2. kafka.ssl.config.type parametresini DEFAULT olarak ayarlayın.
Yapılandırmayı kaydedin.
1. Save öğesini tıklayın.
2. Açılan iletişim kutusunda bir Execution Reason girin ve Save öğesini tıklayın.
Kafka hizmetini yeniden başlatın.
1. Kafka hizmetinin Configure sayfasında More > Restart seçeneklerini belirleyin.
2. Açılan iletişim kutusunda çalıştırma nedenini girin ve OK öğesini tıklayın.
3. Confirm iletişim kutusunda OK öğesini tıklayın.

Yöntem 2: Özel

Not

Kafka kümeleri için SSL varsayılan olarak devre dışıdır. Özel bir yapılandırma kullanarak SSL'i etkinleştirebilirsiniz.

Hizmet yapılandırma sayfasına gidin.
1. E-MapReduce konsolu nda oturum açın.
2. Üst gezinme çubuğundan ihtiyacınıza göre bir bölge ve bir kaynak grubu seçin.
3. Hedef kümenin İşlemler sütunundaki Services öğesini tıklayın.
4. Services sayfasında, Kafka hizmeti alanındaki Configure seçeneğini tıklayın.
Yapılandırma parametresini değiştirin.
1. Configure sayfasında server.properties sekmesini tıklayın.
2. kafka.ssl.config.type parametre değerini CUSTOM olarak değiştirin.
Yapılandırmayı kaydedin.
1. Save öğesini tıklayın.
2. Açılan iletişim kutusunda bir Execution Reason girin ve Save öğesini tıklayın.
Diğer SSL parametrelerini yapılandırın.

listeners dışındaki SSL ile ilgili parametreleri gereksinimlerinize göre yapılandırın. Örnekler arasında ssl.keystore.location, ssl.keystore.password, ssl.truststore.location, ssl.truststore.password, ssl.key.password, ssl.keystore.type ve ssl.truststore.type bulunur.
Kafka hizmetini yeniden başlatın.
1. Kafka hizmetinin Configure sayfasında More > Restart seçeneklerini belirleyin.
2. Açılan iletişim kutusunda çalıştırma nedenini girin ve OK öğesini tıklayın.
3. Confirm iletişim kutusunda OK öğesini tıklayın.

Adım 2: Kafka'ya SSL üzerinden bağlanın

Kafka'ya SSL üzerinden bağlanmak için aşağıdaki istemci parametrelerini yapılandırmanız gerekir: security.protocol, ssl.truststore.password ve ssl.truststore.location.

Örneğin, SSL etkinleştirilmiş bir Kafka kümesinde Kafka'nın yerleşik üretici ve tüketici araçlarını kullanarak bir iş çalıştırmak için şu adımları izleyin:

Kümenin ana düğümüne SSH üzerinden bağlanın. Daha fazla bilgi için bkz. Kümede oturum açma.
Bir yapılandırma dosyası oluşturun.
1. ssl.properties yapılandırma dosyasını oluşturmak için aşağıdaki komutu çalıştırın.
```
vim ssl.properties
```
2. ssl.properties dosyasına aşağıdaki içeriği ekleyin.
```
security.protocol=SSL
ssl.truststore.location=/var/taihao-security/ssl/ssl/truststore
ssl.truststore.password=${password}
ssl.keystore.location=/var/taihao-security/ssl/ssl/keystore
ssl.keystore.password=${password}
ssl.endpoint.identification.algorithm=
```
  Parametre değerlerini EMR konsolundaki Kafka hizmeti için Configure sayfasında bulabilirsiniz. İşinizi Kafka kümesi dışında çalıştırıyorsanız, truststore ve keystore dosyalarını herhangi bir küme düğümünden çalışma zamanı ortamınıza kopyalayın ve dosya yollarını buna göre güncelleyin.

Bir konu oluşturmak için aşağıdaki komutu çalıştırın.

kafka-topics.sh --partitions 10 --replication-factor 2 --bootstrap-server core-1-1:9092 --topic test --create --command-config ssl.properties

SSL yapılandırma dosyasını kullanarak veri üretmek için aşağıdaki komutları çalıştırın.

export IP=<your_InnerIP>
kafka-producer-perf-test.sh --topic test --num-records 123456 --throughput 10000 --record-size 1024 --producer-props bootstrap.servers=${IP}:9092 --producer.config ssl.properties

Not

Bu kod örneğinde <your_InnerIP> master-1-1 düğümünün iç IP adresidir.

SSL yapılandırma dosyasını kullanarak veri tüketmek için aşağıdaki komutları çalıştırın.

export IP=<your_InnerIP>
kafka-consumer-perf-test.sh --broker-list ${IP}:9092 --messages 100000000 --topic test --consumer.config ssl.properties

İlgili konular

Kafka hizmetine SASL ile bağlanan kullanıcıların kimliğini doğrulamak için bkz. SASL kullanarak Kafka hizmetinde kimlik doğrulama.