Apache Flink CDC - Realtime Compute for Apache Flink - Alibaba Cloud Dokümantasyon Merkezi

Bu konu, Realtime Compute for Apache Flink içinde Apache Flink Change Data Capture (CDC) bağlayıcılarının nasıl kullanılacağını ve bunların nasıl yeniden adlandırılacağını açıklar.

Önemli

Apache Flink CDC bağlayıcıları, Apache 2.0 lisansına tabi olan açık kaynak topluluk projeleridir. Bu bağlayıcılar için sunulan hizmet desteği ve Hizmet Düzeyi Anlaşması (SLA), Realtime Compute for Apache Flink ile birlikte gelen ticari bağlayıcılardan farklıdır:

Yapılandırma hataları, iş başarısızlıkları veya veri kaybı gibi sorunlarla karşılaşırsanız çözümleri açık kaynak topluluğunda bulmanız gerekir. Realtime Compute for Apache Flink ekibi, Apache Flink CDC bağlayıcılarıyla ilgili sorunlar için teknik destek sağlamaz.
Apache Flink CDC bağlayıcılarını kullanan herhangi bir hizmetin SLA sorumluluğu size aittir.

Kullanılabilir CDC bağlayıcıları

CDC bağlayıcısı	Açıklama
MySQL CDC PostgreSQL CDC (genel önizleme) MongoDB CDC (genel önizleme)	Realtime Compute for Apache Flink, bu bağlayıcıların ticari sürümlerini içerir. Bunlar için açık kaynak Apache Flink CDC paketlerini manuel olarak yüklemenize gerek yoktur.
OceanBase CDC Oracle CDC SQL Server CDC TiDB CDC Db2 CDC Vitess CDC	Bu topluluk tarafından desteklenen Apache Flink CDC bağlayıcılarının nasıl kullanılacağını öğrenmek için bkz. Topluluk CDC bağlayıcısı kullanma. Not Bir Apache Flink CDC bağlayıcısı veya özel bir bağlayıcı kullanırken, aynı ada sahip bir Realtime Compute for Apache Flink yerleşik bağlayıcısı veya özel bağlayıcı zaten varsa, yerleşik bağlayıcılarla çakışmayı önlemek için varsayılan bağlayıcı adını değiştirmeniz gerekir. SQL Server CDC ve Db2 CDC için varsayılan topluluk bağlayıcısı adını değiştirmeniz ve ardından bağlayıcıyı yeniden paketlemeniz gerekir. Örneğin, `sqlserver-cdc` adını `sqlserver-cdc-test` olarak yeniden adlandırın. Daha fazla bilgi için bkz. Bağlayıcı adını değiştirme.

CDC ve VVR arasındaki sürüm eşlemesi

VVR sürümü	CDC sürümü
vvr-6.0.7-flink-1.15	release-2.4
vvr-8.0.11-flink-1.17 ~ vvr-11.3-jdk11-flink-1.20	release-3.4
vvr-11.4-jdk11-flink-1.20+	release-3.5

Topluluk CDC bağlayıcısı kullanma

SQL işi

Apache Flink CDC sayfasında hedef topluluk sürümünü tıklayın. En son kararlı sürümü kullanmanız önerilir.

Not
Uyumluluk sorunlarını önlemek için VVR sürümünüzle eşleşen bir sürüm seçin. Sürüm eşlemesi için bkz. CDC ve VVR arasındaki sürüm eşlemesi.
Hedef CDC bağlayıcısı sayfasında JAR paketini indirin.

SQL Client JAR bölümünde, ilgili JAR dosyasının indirme bağlantısını tıklayın; örneğin flink-sql-connector-mongodb-cdc-3.0.0.jar.

Not
İlgili JAR dosyasını Maven Central Repository adresinden de indirebilirsiniz.
Realtime Compute for Apache Flink konsoluna giriş yapın.
Hedef çalışma alanının Actions sütununda Console öğesini tıklayın.
Sol gezinme bölmesinde Connectors öğesini tıklayın.
Connectors sayfasında Create Custom Connector öğesini tıklayın ve indirilen JAR dosyasını yükleyin.

Daha fazla bilgi için bkz. Özel bağlayıcıları yönetme.
Bir SQL işi yazarken, connector parametresinin değeri olarak Apache Flink CDC bağlayıcısının adını kullanın.

Her bağlayıcı tarafından desteklenen parametreler hakkında bilgi için Apache Flink CDC belgelerine bakın.

JAR işi

Bir JAR işinde ilgili bağlayıcıyı kullanmak için pom.xml dosyasında aşağıdaki bağımlılığı bildirmeniz gerekir.
```
<dependency>
  <groupId>com.ververica</groupId>
  <artifactId>flink-connector-${the-connector-name}-cdc</artifactId>
  <version>${the-community-connector-version}</version>
</dependency>
```
Maven Central Repository yalnızca release sürümlerini içerir, snapshot sürümlerini içermez. Bir snapshot sürümü kullanmak için GitHub deposunu klonlayın ve JAR paketini derleyin.
Kodunuzda ilgili bağlayıcı uygulama sınıfını import edin ve belgelere göre kullanın.
Önemli
Farklı artifact ID'lerine sahip yapıtlar arasındaki farka dikkat edin: flink-connector-xxx ve flink-sql-connector-xxx.
- flink-connector-xxx: Yalnızca bağlayıcı kodunu içerir. Diğer bağımlılıkları kendiniz bildirmelisiniz.
- flink-sql-connector-xxx: Tüm bağımlılıkları doğrudan kullanabileceğiniz tek bir JAR dosyasında birleştirir.
Gereksinimlerinize göre bir yapıt seçin. Örneğin, Flink geliştirme konsolunda özel bir bağlayıcı oluşturmak için flink-sql-connector-xxx kullanın.

Bağlayıcıyı yeniden adlandırma

Bu bölümde, topluluk SQL Server CDC bağlayıcısı örnek alınarak bir bağlayıcının nasıl yeniden adlandırılacağı gösterilmektedir.

GitHub deposunu klonlayın ve belirtilen sürüm için ilgili dala geçiş yapın.

SQL Server CDC bağlayıcı fabrika sınıfının tanımlayıcısını değiştirin.

//com.ververica.cdc.connectors.sqlserver.table.SqlServerTableFactory
@Override
public String factoryIdentifier() {
    return "sqlserver-cdc-test";
}

flink-sql-connector-sqlserver-cdc alt modülünü derleyin ve paketleyin.
Connectors sayfasında Create Custom Connector öğesini tıklayın ve paketlenmiş JAR dosyasını yükleyin.

Daha fazla bilgi için bkz. Özel bağlayıcıları yönetme.
SQL işi bölümündeki adımları izleyerek bir SQL işi yazarken, bağlayıcı adı olan connector parametresinin değeri olarak sqlserver-cdc-test değerini iletin.