AnalyticDB for MySQL 3.0 veri kaynağı - DataWorks - Alibaba Cloud Dokümantasyon Merkezi

Sınırlamalar

Ortak kaynak grubunda ADB Lakehouse Edition veri kaynağı için senkronizasyon görevlerini yapılandıramaz veya çalıştıramazsınız.
ADB veri kaynağında yapılandırılan bir örnek, Data Warehouse Edition'dan Lakehouse Edition'a geçiş yaparsa ortak kaynak grubunda bu veri kaynağını kullanan senkronizasyon görevleri başarısız olur. Sürüm değiştirmeden önce ortak kaynak grubunda çalışan görev olup olmadığını kontrol edin ve varsa bunları Serverless kaynak grubuna (önerilen) veya Veri Entegrasyonu için özel bir kaynak grubuna taşıyın.
Toplu iş senkronizasyonu görünüm (VIEW tabloları) okumayı destekler.

Desteklenen alan türleri

Toplu iş okuma

Aşağıdaki tabloda AnalyticDB for MySQL 3.0 Reader için AnalyticDB for MySQL 3.0 tür eşlemeleri listelenmiştir.

Tür kategorisi	AnalyticDB for MySQL 3.0 türü
Tamsayı	INT, INTEGER, TINYINT, SMALLINT ve BIGINT
Kayan nokta	FLOAT, DOUBLE ve DECIMAL
Dize	VARCHAR
Tarih ve saat	DATE, DATETIME, TIMESTAMP ve TIME
Boole	BOOLEAN

Toplu iş yazma

Aşağıdaki tabloda AnalyticDB for MySQL 3.0 Writer için AnalyticDB for MySQL 3.0 tür eşlemeleri listelenmiştir.

Tür	AnalyticDB for MySQL 3.0 veri türü
Tamsayı	INT, INTEGER, TINYINT, SMALLINT ve BIGINT
Kayan nokta	FLOAT, DOUBLE ve DECIMAL
Dize	VARCHAR
Tarih ve saat	DATE, DATETIME, TIMESTAMP ve TIME
Boole	BOOLEAN

Veri kaynağı ekleme

DataWorks'te bir senkronizasyon görevi geliştirmeden önce gerekli veri kaynağını Veri kaynağı yapılandırması bölümündeki talimatları izleyerek DataWorks'e eklemeniz gerekir. Veri kaynağı eklerken parametrelerin anlamlarını anlamak için DataWorks konsolundaki parametre açıklamalarını görüntüleyebilirsiniz.

Veri senkronizasyonu görevlerini geliştirme

Senkronizasyon görevini yapılandırma giriş noktası ve prosedürü hakkında bilgi için aşağıdaki yapılandırma kılavuzlarına bakın.

Ek: Örnek betikler ve parametreler

Kod düzenleyici kullanarak toplu iş senkronizasyonu görevini yapılandırma

Toplu iş senkronizasyonu görevini kod düzenleyici kullanarak yapılandırmak istiyorsanız birleşik betik biçimi gereksinimlerine göre betikteki ilgili parametreleri yapılandırmanız gerekir. Daha fazla bilgi için bkz. Betik modu yapılandırması. Aşağıdaki bilgiler, kod düzenleyici kullanarak toplu iş senkronizasyonu görevini yapılandırırken veri kaynakları için yapılandırmanız gereken parametreleri açıklar.

Reader örnek betiği

{ "type": "job", "steps": [ { "stepType": "analyticdb_for_mysql", //Plug-in name. "parameter": { "column": [ //Column names. "id", "value", "table" ], "connection": [ { "datasource": "xxx", //Data source. "table": [ //Table name. "xxx" ] } ], "where": "", //Filter condition. "splitPk": "", //Split key. "encoding": "UTF-8" //Encoding format. }, "name": "Reader", "category": "reader" }, { "stepType": "stream", "parameter": {}, "name": "Writer", "category": "writer" } ], "version": "2.0", "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "0" //Maximum number of error records during synchronization. }, "speed": { "throttle":true,//When throttle is false, mbps is ignored and throughput is unlimited; when true, throughput is limited. "concurrent":1 //Job concurrency. "mbps":"12"//Rate limit. Here, 1 mbps = 1 MB/s. } } }

Reader betiği parametreleri

Parametre	Açıklama	Gerekli	Varsayılan değer
datasource	Veri kaynağı adı. Betik modunda bir veri kaynağı ekleyebilirsiniz. Değer, eklenen veri kaynağının adıyla eşleşmelidir.	Evet	Yok
table	Senkronize edilecek tablo.	Evet	Yok
column	Yapılandırılan tablodan senkronize edilecek sütunlar. Alanları bir JSON dizisinde tanımlayın. Varsayılan olarak tüm sütunlar seçilir, örneğin [ * ]. Sütun seçimi desteklenir, bu nedenle yalnızca seçilen sütunları dışa aktarabilirsiniz. Sütun yeniden sıralaması desteklenir, bu nedenle dışa aktarma sırası tablo şeması sırasından farklı olabilir. Sabit değerler desteklenir. MySQL sözdizimini takip edin, örneğin `[“id”, “table“, “1”, “‘bazhen.csy’”, “null”, “to_char(a + 1)”, “2,3” , “true”]`. id normal bir sütun adıdır. table ayrılmış bir sütun adıdır. 1 bir tamsayı sabitidir. bazhen.csy bir dize sabitidir. null bir null işaretçisidir. to_char(a + 1) dize uzunluğunu hesaplamak için bir işlev ifadesidir. 2,3 bir kayan noktalı sayıdır. true bir Boole değeridir. columnSenkronize edilecek boş olmayan bir sütun kümesini açıkça belirtmelisiniz.	Evet	Yok
splitPk	AnalyticDB for MySQL 3.0 Reader veri ayıklarken splitPk belirtmek, splitPk tarafından temsil edilen alanı kullanarak verileri bölmek istediğiniz anlamına gelir. Veri senkronizasyonu verimliliği artırmak için eşzamanlı görevler başlatır. splitPk için tablo birincil anahtarını kullanmanızı öneririz. Birincil anahtar değerleri genellikle eşit dağıtılır, bu da ortaya çıkan parçalarda veri yoğunlaşma noktalarının oluşma olasılığını azaltır. Şu anda splitPk yalnızca tamsayı verilerinin bölünmesini destekler; dizeleri, kayan noktalı sayıları, tarihleri veya diğer türleri desteklemez. Desteklenmeyen bir tür belirtirseniz splitPk ayarı yoksayılır ve senkronizasyon tek bir kanal kullanır. splitPk belirtilmezse, yani splitPk parametresi yoksa veya splitPk değeri boşsa veri senkronizasyonu tabloyu tek bir kanal üzerinden okur.	Hayır	Yok
where	Bir filtre koşulu. Birçok iş senaryosunda o günün verilerini senkronize edersiniz. where koşulunu `gmt_create>$bizdate` olarak ayarlayın. where artımlı iş senkronizasyonunu etkinleştirir. where deyimi belirtilmezse, yani where anahtarı veya değeri yoksa tüm veriler senkronize edilir. where koşulunu LIMIT 10 olarak ayarlamayın. Bu, bir MySQL SQL WHERE yan tümcesinin kısıtlamalarını karşılamaz.	Hayır	Yok

Writer örnek betiği

{ "type": "job", "steps": [ { "stepType": "stream", "parameter": {}, "name": "Reader", "category": "reader" }, { "stepType": "analyticdb_for_mysql", //Plug-in name. "parameter": { "postSql": [], //Statements to run after import. "tableType": null, //Reserved field, empty by default. "datasource": "hangzhou_ads", //Data source name. "column": [ //Fields to synchronize. "id", "value" ], "guid": null, "writeMode": "insert", //Write mode. See the writeMode parameter description. "batchSize": 2048, //Batch size. See the batchSize parameter description. "encoding": "UTF-8", //Encoding format. "table": "t5", //Name of the table to write to. "preSql": [] //Statements to run before import. }, "name": "Writer", "category": "writer" } ], "version": "2.0", //Configuration file format version. "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "0" //Number of error records. }, "speed": { "throttle":true,//When throttle is false, mbps is ignored and throughput is unlimited; when true, throughput is limited. "concurrent":2, //Job concurrency. "mbps":"12"//Rate limit. Here, 1 mbps = 1 MB/s. } } }

Writer betiği parametreleri

Parametre	Açıklama	Gerekli	Varsayılan değer
datasource	Veri kaynağı adı. Betik modunda bir veri kaynağı ekleyebilirsiniz. Değer, eklenen veri kaynağının adıyla eşleşmelidir.	Evet	Yok
table	Senkronize edilecek tablonun adı.	Evet	Yok
writeMode	Yazma modu. insert, replace veya update seçin. insert: Birincil anahtar veya benzersiz dizin çakışması yoksa veriler normal şekilde yazılır. Çakışma olursa mevcut satır yoksayılır ve güncellenmez. replace: Birincil anahtar veya benzersiz dizin çakışması yoksa veriler normal şekilde yazılır. Çakışma olursa çakışan satır yeni satır eklenmeden önce silinir, böylece orijinal satırdaki tüm alanlar değiştirilir. update: Birincil anahtar veya benzersiz dizin çakışması yoksa veriler normal şekilde yazılır. Çakışma olursa yeni satır orijinal satırın tüm alanlarını değiştirir. Not Bu mod yalnızca betik modunda desteklenir.	Hayır	insert
column	Hedef tabloya yazılacak alanlar, virgülle ayrılmış olarak, örneğin `"column": ["id", "name", "age"]`. Tüm sütunları sırayla yazmak için kullanın, örneğin `"column": ["`"]. Not Bir alan adı select içeriyorsa alan adını geri tırnak içine alın. Örneğin, item_select_no öğesini `item_select_no` olarak yazın.	Evet	Yok
preSql	Senkronizasyon görevinden önce çalıştırılacak SQL deyimleri. Sihirbaz modu yalnızca bir SQL deyimine izin verir; betik modu eski verileri temizleme gibi birden çok deyimi destekler. Not Birden çok SQL deyimi için işlem desteği yoktur.	Hayır	Yok
postSql	Senkronizasyon görevinden sonra çalıştırılacak SQL deyimleri. Sihirbaz modu yalnızca bir SQL deyimine izin verir; betik modu zaman damgası ekleme gibi birden çok deyimi destekler. Not Birden çok SQL deyimi için işlem desteği yoktur.	Hayır	Yok
batchSize	Tek bir toplu işte gönderilen kayıt sayısı. Bu, veri senkronizasyon sistemi ile MySQL arasındaki ağ etkileşimlerini büyük ölçüde azaltabilir ve genel aktarım hızını artırabilir. Aşırı büyük bir değer, senkronizasyon sürecinde bellek yetersizliği (OOM) hatasına neden olabilir.	Hayır	1.024