:Eşitleme görevi oluşturma

Ön koşullar

• Bir ApsaraDB RDS for MySQL örneği oluşturdunuz ve örnek kimliğini (ID) aldınız. Ayrıca ApsaraDB RDS konsolunda gerekli IP adreslerini izin listesine eklediniz. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL örneği oluşturma.

  Not

  ApsaraDB RDS için bir eşitleme görevini çalıştırmak üzere Serverless Resource Group kullanırken aşağıdakilere dikkat edin:

  • Veri kaynağına dahili ağ (VPC) üzerinden erişiyorsanız, kaynak grubuna bağlı olan vSwitch'in CIDR bloğunu veri kaynağının izin listesine eklemeniz gerekir.

  • Veri kaynağına İnternet üzerinden erişiyorsanız, Serverless Resource Group tarafından kullanılan Sanal Özel Bulut (VPC)'nin Elastik IP Adresini (EIP) veri kaynağının izin listesine ekleyin.

  Daha fazla bilgi için bkz. İzin listesi yapılandırma.

• ApsaraDB RDS for MySQL veritabanı kullanıyorsanız, aşağıdaki deyimi çalıştırarak veritabanında ODPS_RESULT adlı bir tablo oluşturun:

  CREATE TABLE `ODPS_RESULT` (
  `education`  varchar(255) NULL ,
  `num`  int(10) NULL 
  );

  Tabloyu oluşturduktan sonra, tablo ayrıntılarını görüntülemek için DESC ODPS_RESULT; deyimini çalıştırabilirsiniz.

• result_table adlı bir sonuç tablosu hazırlanmıştır. Daha fazla bilgi için bkz. Tablo oluşturma ve veri yükleme.

• Sanal bir düğüm (start) ve bir ODPS SQL düğümü (insert_data) oluşturulmuştur. Daha fazla bilgi için bkz. İş akışı oluşturma.

Arka plan

DataWorks'te genellikle sisteminizde üretilen iş verilerini periyodik olarak bir çalışma alanına aktarmak için Data Integration'ı kullanırsınız. SQL görevleri verileri hesapladıktan sonra, sonuçları görüntüleme veya daha fazla kullanım amacıyla belirli bir veri kaynağına periyodik olarak aktarabilirsiniz.

Data Integration, ApsaraDB RDS, MySQL, SQL Server, PostgreSQL, MaxCompute, ApsaraDB for Memcache (OCS), PolarDB-X, Object Storage Service (OSS), Oracle, FTP, DM, HDFS ve MongoDB gibi çeşitli veri kaynaklarından veri içe aktarmayı veya dışa aktarmayı destekler. Desteklenen tüm veri kaynağı türlerinin tam listesi için bkz. Desteklenen veri kaynakları ve eklentiler.

1. Adım: Veri kaynağı ekleme

1. DataWorks konsolu üzerinde oturum açın. Hedef bölgede sol gezinme bölmesinde More > Management Center seçeneğine tıklayın. Açılan listeden bir çalışma alanı seçin ve Go to Management Center öğesine tıklayın.

2. Bir MySQL veri kaynağı oluşturun.

   1. Sol gezinme bölmesinde Data Sources > Data Sources seçeneğini belirleyerek Veri Kaynakları sayfasına gidin.

   2. Add seçeneğine tıklayın. Add iletişim kutusunda MySQL seçeneğini belirleyin.

3. Veri kaynağını yapılandırın.

   Add MySQL Data Source iletişim kutusunda parametreleri yapılandırın. Bu örnekte Alibaba Cloud instance mode seçeneğini belirleyin.

   Aşağıdaki tabloda temel parametreler açıklanmaktadır.

   Parametre	Açıklama
   Uygulanabilir ortam	Veri kaynağını Development Environment ve Production Environment için ayrı ayrı yapılandırın.
   Yapılandırma Modu	Alibaba Cloud instance mode seçeneğini belirleyin.
   Alibaba Cloud Hesabı	Current Alibaba Cloud Account seçeneğini belirleyin.
   Bölge	Veri kaynağının bulunduğu bölgeyi seçin.
   Örnek	Oluşturduğunuz ApsaraDB RDS for MySQL örneğini seçin. Bir örnek seçtikten sonra örnek ayrıntılarını görüntülemek için Obtain Latest Address seçeneğine tıklayabilirsiniz. Kullanılabilir bir örnek yoksa, bir tane oluşturmak için ApsaraDB RDS konsoluna gidebilirsiniz.
   Veritabanı Adı, Kullanıcı Adı ve Parola	Bu veri kaynağı için varsayılan veritabanının adını belirtin ve veritabanı için kullanıcı adını ile parolayı girin. Parolada at işareti (@) kullanmayın. Bir eşitleme görevi yapılandırırken aşağıdakilere dikkat edin: Veritabanı düzeyindeki eşitleme için (gerçek zamanlı ve toplu iş dahil), erişim iznine sahip olduğunuz ApsaraDB RDS örneğindeki herhangi bir veritabanını seçebilirsiniz. Toplu eşitleme görevi için birden fazla veritabanı kullanıyorsanız, her veritabanı için ayrı bir veri kaynağı eklemeniz gerekir.
   Kimlik Doğrulama Yöntemi	No Authentication seçeneğini belirleyin.
   İkincil Örneği Yapılandır	Veri kaynağında salt okunur bir örnek (ikincil örnek) varsa, görevi yapılandırırken Configure Secondary Instance seçeneğini etkinleştirebilir ve ikincil örnek kimliğini (ID) seçebilirsiniz. İkincil örnek kullanımı, birincil örneğin performansını korumaya yardımcı olur ve birincil örneğe müdahaleyi önler. Birden fazla salt okunur örnek varsa, okuma işlemleri için kullanılabilir durumdaki örneklerden biri rastgele seçilir. Not Bu özellik yalnızca serverless kaynak gruplarını destekler.

4. Kaynak grubunun ağ bağlantısını test edin.

   Data integration ve Data Scheduling sekmelerinde ilgili kaynak grubu için Test Network Connectivity seçeneğine tıklayın. "Connected" durumu başarılı bir testi gösterir.

   Not

   • Bir eşitleme görevi yalnızca tek bir tür kaynak grubu kullanabilir.

   • Her kaynak grubunun veri kaynağına bağlantısını test etmeniz gerekir. Kaynak grubu bağlanamazsa eşitleme görevi çalıştırılamaz.

5. Bağlantı testi başarılı olduktan sonra veri kaynağını eklemek için Complete Creation seçeneğine tıklayın.

2. Adım: Eşitleme görevi oluşturma ve yapılandırma

Bir eşitleme görevi oluşturmak için write_result adlı bir eşitleme düğümü oluşturun. Bu görev, result_table tablosundaki verileri MySQL veritabanınıza yazar. Aşağıdaki adımları izleyin:

1. DataWorks konsolu üzerinde oturum açın. Hedef bölgede sol gezinme bölmesinde Data Development and O&M > Data Development seçeneğine tıklayın. Açılan listeden bir çalışma alanı seçin ve Go to Data Development öğesine tıklayın.

2. Bir toplu iş eşitleme düğümü oluşturun.

   simgesine tıklayın ve Create Node > Data integration > Batch Synchronization seçeneğini belirleyerek bir toplu iş eşitleme düğümü oluşturun.

3. Eşitleme görevi için ağ bağlantısını yapılandırın.

   1. Düğüm düzenleme sayfasındaki Configure Network Connections and Resource Groups sekmesinde Source değerini MaxCompute(ODPS) olarak ve MySQL değerini MySQL olarak ayarlayın. Kaynak grubunu seçin ve veri kaynağına bağlantısını test edin. Ağ yapılandırması hakkında daha fazla bilgi için bkz. Ağ bağlantısı çözümleri.

   2. Next step seçeneğine tıklayarak Configure tasks sayfasına gidin.

4. Eşitleme görevini yapılandırın.

   1. Kaynak ve hedefi yapılandırın.

      Source bölümünde veri kaynağı olarak MaxCompute(ODPS) seçeneğini belirleyin ve Table alanına result_table yazın. Destination bölümünde veri kaynağı olarak MySQL seçeneğini belirleyin, Table alanına ODPS_RESULT yazın ve Primary Key Conflict Policy için insert into seçeneğini belirleyin. Bu işlem kaynak tabloyu result_table ve hedef tabloyu ODPS_RESULT olarak ayarlar. İş gereksinimlerinize göre diğer parametreleri yapılandırabilirsiniz. Daha fazla bilgi için bkz. Kodsuz UI yapılandırması.

   2. Alan eşlemesini yapılandırın.

      Kaynak alanlarını hedef alanlarla eşleyin. Görev, verileri yazmak için bu alan eşlemesini kullanır.

   3. Kanal kontrolünü yapılandırın.

      Parametre	Açıklama
      Expected Maximum Concurrency	Kaynaktan okuma veya hedefe yazma için maksimum eşzamanlı iş parçacığı sayısını belirtir. Not Kaynak teknik özellikleri ve diğer faktörler nedeniyle, yürütme sırasındaki gerçek eşzamanlılık yapılandırılan değerden küçük veya buna eşit olabilir. Kaynak grubu, gerçek eşzamanlılığa göre ücretlendirilir. Daha fazla bilgi için bkz. Faturalandırma ayrıntıları. Görev zamanlama ücretleri, yapılandırılan eşzamanlılıkla değil, tek tablo toplu iş eşitleme görevlerinin sayısıyla ilgilidir.
      Sync Rate	Eşitleme hızını kontrol eder. Hız sınırlama: Kaynak veritabanını aşırı okuma yükünden korumak için eşitleme hızını sınırlar. Minimum hız sınırlama değeri 1 MB/sn'dir. Hız sınırlaması yok: Görev, yapılandırılan eşzamanlılığa tabi olarak mevcut maksimum aktarım performansını sağlar. Not Trafik ölçümü Data Integration tarafından yapılır ve gerçek NIC trafiğini temsil etmez. NIC trafiği, veri depolama sisteminin taşıma serileştirmesine bağlı olarak genellikle kanal trafiğinin 1 ila 2 katıdır.
      Policy for Dirty Data Records	Kirli veri, tür uyuşmazlığı veya kısıtlama ihlalleri gibi istisnalar nedeniyle hedefe yazılamayan veri kayıtlarını ifade eder. Tek tablo toplu iş eşitleme, kirli veri ilkesi tanımlamayı destekler. Tolerans gösterilecek kirli veri kaydının sayısını ve bunların görevi nasıl etkilediğini tanımlayabilirsiniz. Hiçbir yapılandırma belirtilmezse, kirli verilere varsayılan olarak izin verilir ve görev yürütmesini etkilemez. Değer 0 olarak ayarlanırsa kirli verilere izin verilmez. Eşitleme sırasında kirli veri oluşursa görev başarısız olur. Kirli verilere izin verilir ve bir eşik belirlenirse: Oluşturulan kirli veri eşik içindeyse, eşitleme görevi kirli verileri yoksayar (hedefe yazılmaz) ve normal şekilde çalışmaya devam eder. Oluşturulan kirli veri eşiği aşarsa, eşitleme görevi başarısız olur. Önemli Aşırı kirli veri, görevin genel eşitleme hızını etkiler.
      Distributed Execution	Görev için dağıtılmış modun etkinleştirilip etkinleştirilmeyeceğini kontrol eder. Etkin: Görevi eşzamanlı yürütme için birden fazla işleme böler, tek işlem darboğazını ortadan kaldırır ve eşitleme verimliliğini artırır. Devre dışı: Görev tek bir işlemde çalışır. Yüksek performans gereksinimleri için dağıtılmış mod önerilir. Ayrıca makinelerdeki parçalı kaynaklardan yararlanarak kaynak kullanımını iyileştirir. Önemli Dağıtılmış işlemeyi etkinleştirmek için eşzamanlılık 8 veya daha büyük olmalıdır. Dağıtılmış işlemeyi etkinleştirmek daha fazla kaynak tüketir. Çalışma zamanında bellek yetersizliği (OOM) hatası oluşursa, bu özelliği devre dışı bırakmayı deneyin.
      Time Zone	Saat dilimleri arası eşitleme için saat dilimi dönüşümünü yapılandırmak üzere kaynak saat dilimini ayarlayın.

   4. Görev bağımlılıklarını yapılandırın.

      Geçerli Workflow içindeki write_result düğümünün üst akış düğümü olarak insert_data düğümünü ayarlayın. İş akışı tuvalinde, yukarı/aşağı akış bağımlılığı oluşturmak için insert_data düğümünü write_result düğümüne bağlayın. Bu, insert_data tamamlandıktan sonra write_result öğesinin yürütüleceği anlamına gelir.

5. Görevi yapılandırdıktan sonra, görevi kaydetmek için araç çubuğundaki simgesine tıklayın.

3. Adım: Görevi gönderme ve dağıtma

Eşitleme görevini kaydettikten sonra iş akışına dönün. Eşitleme görevini zamanlama sistemine göndermek için araç çubuğundaki simgesine tıklayın. Zamanlama sistemi, ertesi günden başlayarak görevi yapılandırılan zamanlamasına göre otomatik olarak çalıştırır.

Sonraki adımlar

Bu öğreticide, farklı türdeki veri kaynaklarına veri aktarmak için bir eşitleme görevinin nasıl oluşturulacağı açıklanmıştır. Sonraki öğreticide, bir eşitleme görevi için zamanlama özellikleri ve bağımlılıkların nasıl yapılandırılacağı açıklanmaktadır. Daha fazla bilgi için bkz. Zamanlama ve bağımlılıkları yapılandırma.

İlgili belgeler

• Bir toplu iş eşitleme görevinin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Kodsuz UI yapılandırması.