DataWorks, Amazon Redshift veri kaynaklarından veri okumanız ve bu kaynaklara veri yazmanız için Amazon Redshift Reader ile Amazon Redshift Writer bileşenlerini sunar. Amazon Redshift veri kaynağı için bir senkronizasyon görevini kod içermeyen arayüzü veya kod düzenleyiciyi kullanarak yapılandırabilirsiniz.
Desteklenen Amazon Redshift sürümleri
Amazon Redshift, redshift-jdbc4.2 Driver 2.1.0.1 sürücüsünü kullanır. Sürücü yetenekleri hakkında daha fazla bilgi için bkz. Amazon Redshift için JDBC sürücü sürümünü yapılandırma.
Veri türü eşlemeleri
Aşağıdaki tabloda Amazon Redshift veri türleri ile SQL/Java veri türleri arasındaki eşlemeler açıklanmaktadır. Daha fazla bilgi için bkz. resmi Amazon Redshift belgeleri.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Veri senkronizasyonu hazırlıkları
DataWorks'te veri senkronizasyonu yapmadan önce, veri kaynaklarınız ile bir sunucusuz kaynak grubu veya Data Integration için özel bir kaynak grubu arasında ağ bağlantıları kurmanız gerekir. Bu işlem, kaynak grubunun dahili ağ üzerinden veri kaynaklarına erişmesini sağlar. Veri senkronizasyonu için sunucusuz bir kaynak grubu kullanmanızı öneririz. Ağ bağlantılarının nasıl kurulacağı hakkında bilgi için bkz. Ağ bağlantısı çözümleri.
Veri kaynağı oluşturun
DataWorks'te bir senkronizasyon görevi geliştirmeden önce, gerekli veri kaynağını Veri kaynağı yapılandırması bölümündeki talimatları izleyerek DataWorks'e eklemeniz gerekir. Bir veri kaynağı eklerken parametrelerin anlamlarını anlamak için DataWorks konsolunda parametre açıklamalarını görüntüleyebilirsiniz.
Aşağıda Amazon Redshift veri kaynağı için temel parametreler listelenmiştir.
JDBC URL: IP adresi, bağlantı noktası numarası, veritabanı ve bağlantı parametrelerini içeren JDBC bağlantı dizesi. Hem genel hem de özel IP adresleri desteklenir. Genel bir IP adresi kullanıyorsanız, veri entegrasyonu kaynak grubunun Amazon Redshift örneğinizin bulunduğu ana bilgisayara erişebildiğinden emin olun.
Username: Amazon Redshift veritabanınız için kullanıcı adı.
Password: Belirtilen kullanıcı adı için parola.
Veri senkronizasyon görevi geliştirin
Bir senkronizasyon görevini yapılandırmaya yönelik giriş noktası ve yordam hakkında bilgi için aşağıdaki yapılandırma kılavuzlarına bakın.
Tek bir tablonun verilerini senkronize etmek için toplu iş senkronizasyon görevi yapılandırın
Yapılandırma yordamı hakkında daha fazla bilgi için bkz. Kod içermeyen arayüzü kullanarak toplu iş senkronizasyon görevi yapılandırma ve Kod düzenleyiciyi kullanarak toplu iş senkronizasyon görevi yapılandırma.
Parametrelerin tam listesi ve kod düzenleyici için bir betik örneği için bkz. Ek: Betik örnekleri ve parametre açıklamaları.
Ek: Betik örnekleri ve parametre açıklamaları
Kod düzenleyiciyi kullanarak toplu iş senkronizasyon görevi yapılandırma
Toplu iş senkronizasyon görevini kod düzenleyiciyi kullanarak yapılandırmak istiyorsanız, ilgili parametreleri betikte birleşik betik formatı gereksinimlerine göre yapılandırmanız gerekir. Daha fazla bilgi için bkz. Betik modu yapılandırması. Aşağıdaki bilgiler, kod düzenleyiciyi kullanarak toplu iş senkronizasyon görevi yapılandırırken veri kaynakları için ayarlamanız gereken parametreleri açıklar.
Reader betik örneği
{
"stepType": "redshift"
"parameter":
{
"datasource":"redshift_datasource",
"table": "redshift_table_name",
"where": "xxx=3",
"splitPk": "id",
"column":
[
"id",
"table_id",
"table_no",
"table_name",
"table_status"
]
},
"name": "Reader",
"category": "reader"
}Reader parametreleri
|
Parametre |
Açıklama |
Zorunlu |
Varsayılan değer |
|
datasource |
Veri kaynağının adı. Bu ad, DataWorks'te eklediğiniz veri kaynağının adıyla eşleşmelidir. |
Evet |
Varsayılan değer yok |
|
table |
Veri okunacak kaynak tablonun adı. |
Evet |
Varsayılan değer yok |
|
column |
Virgülle ayrılmış olarak senkronize edilecek sütunlar. Örneğin, Tüm sütunları senkronize etmek için yıldız işareti () kullanın. Örneğin, |
Evet |
Varsayılan değer yok |
|
where |
WHERE yan tümcesi. Görev, kaynak tablodan veri okumak için column, table ve where parametrelerini bir SQL ifadesinde birleştirir. Test amacıyla bunu limit 10 olarak ayarlayabilirsiniz. Geçerli gün içinde oluşturulan verileri okumak için where parametresini gmt_create > $bizdate olarak ayarlayabilirsiniz.
|
Hayır |
Varsayılan değer yok |
|
splitPk |
Veri parçalama için kullanılan sütun. Belirtildiğinde sistem paralel iş parçacıkları kullanarak verileri senkronize eder ve bu da verimliliği artırır. |
Hayır |
Varsayılan değer yok |
Writer betik örneği
{
"stepType": "redshift",// The plugin name.
"parameter":
{
"postSql":["delete from XXX;"],
"preSql":["delete from XXX;"],
"datasource":"redshift_datasource",// The data source name.
"table": "redshift_table_name",// The table name.
"writeMode": "insert",
"batchSize": 2048,
"column":
[
"id",
"table_id",
"table_no",
"table_name",
"table_status"
]
},
"name": "Writer",
"category": "writer"
}Writer parametreleri
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Verilerin yazılacağı hedef sütunlar, virgülle ayrılmış olarak. Örneğin, Tüm sütunlara sırayla yazmak için yıldız işareti (*) kullanın. Örneğin, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|