Dataphin：Konfigurasikan komponen output Amazon RDS for SQL Server

Prasyarat

• Sumber data Amazon RDS for SQL Server telah dibuat. Untuk informasi selengkapnya, lihat Create an Amazon RDS for SQL Server data source.

• Akun yang digunakan untuk mengonfigurasi properti komponen output Amazon RDS for SQL Server harus memiliki izin write-through terhadap sumber data tersebut. Jika Anda tidak memiliki izin tersebut, ajukan permohonan izin sumber data. Untuk informasi selengkapnya, lihat Request, renew, and return data source permissions.

Prosedur

1. Pada halaman utama Dataphin, klik Develop > Data Integration di bilah navigasi atas.

2. Di bilah navigasi atas halaman Integration, pilih sebuah project. (Dalam mode Dev-Prod, Anda perlu memilih lingkungan.)

3. Di panel navigasi kiri, klik Batch Pipeline. Di daftar Batch Pipeline, klik offline pipeline yang ingin Anda kembangkan untuk membuka halaman konfigurasinya.

4. Klik Component Library di pojok kanan atas halaman untuk membuka panel Component Library.

5. Di panel navigasi kiri Component Library, pilih Outputs. Di daftar komponen output di sebelah kanan, temukan komponen Amazon RDS for SQL Server dan seret ke canvas.

6. Klik dan seret ikon dari komponen input, transform, atau flow target untuk menghubungkannya ke komponen output Amazon RDS for SQL Server saat ini.

7. Klik ikon pada komponen output Amazon RDS for SQL Server untuk membuka kotak dialog Amazon RDS for SQL Server Output Configuration.

8. Dalam kotak dialog Amazon RDS For SQL Server Output Configuration, konfigurasikan parameter-parameter berikut.

   Parameter		Deskripsi
   Basic Settings	Step Name	Nama komponen output Amazon RDS for SQL Server. Dataphin secara otomatis menghasilkan nama langkah, yang dapat Anda ubah sesuai skenario bisnis Anda. Nama tersebut harus memenuhi persyaratan berikut: Hanya boleh berisi karakter Tionghoa, huruf, garis bawah (_), dan angka. Panjang maksimal 64 karakter.
   	Datasource	Daftar dropdown sumber data menampilkan semua sumber data Amazon RDS for SQL Server, termasuk yang Anda miliki izin write-through-nya maupun yang tidak. Klik ikon untuk menyalin nama sumber data saat ini. Untuk sumber data yang tidak memiliki izin write-through, Anda dapat mengklik Request di sebelah sumber data tersebut untuk mengajukan permohonan izin write-through. Untuk informasi selengkapnya, lihat Request, renew, and return data source permissions. Jika Anda belum memiliki sumber data Amazon RDS for SQL Server, klik Create Data Source untuk membuatnya. Untuk informasi selengkapnya, lihat Create an Amazon RDS for SQL Server data source.
   	Schema (opsional)	Anda dapat memilih tabel lintas schema. Pilih schema tempat tabel berada. Jika Anda tidak menentukan schema, schema yang dikonfigurasi dalam sumber data akan digunakan secara default.
   	Table	Pilih tabel target untuk data output. Anda dapat memasukkan kata kunci untuk mencari tabel atau memasukkan nama tabel secara eksak lalu klik Exact Match. Setelah memilih tabel, sistem secara otomatis memeriksa status tabel tersebut. Klik ikon untuk menyalin nama tabel yang dipilih.
   	Loading Policy	Pilih strategi penulisan data ke tabel target. Loading Policy mencakup: Append Data (insert Into): Ketika terjadi konflik primary key/kendala, kesalahan data kotor (dirty data error) akan dilaporkan. Update On Primary Key Conflict (merge Into): Ketika terjadi konflik primary key/kendala, data pada field yang dipetakan akan diperbarui pada record yang sudah ada.
   	Synchronous Write	Sintaks pembaruan primary key bukanlah operasi atomik. Jika data yang akan ditulis memiliki primary key duplikat, Anda perlu aktifkan synchronous write. Jika tidak, penulisan paralel (parallel write) akan digunakan. Performa synchronous write lebih rendah daripada parallel write. Catatan Opsi ini hanya dapat dikonfigurasi ketika loading policy diatur ke Update on primary key conflict.
   	Batch Write Size (opsional)	Ukuran data yang ditulis sekaligus. Anda juga dapat mengatur Batch Write Records. Sistem akan menulis data ketika salah satu batas tercapai. Nilai default-nya adalah 32M.
   	Batch Write Records (opsional)	Nilai default-nya adalah 2048 records. Saat data disinkronkan dan ditulis, strategi batch write digunakan. Parameter-parameter tersebut meliputi Batch Write Records dan Batch Write Size. Ketika data yang terakumulasi mencapai salah satu batas (ukuran batch write atau jumlah batch write records), sistem menganggap satu batch data telah penuh dan segera menulis batch tersebut ke tujuan sekaligus. Kami menyarankan agar Anda mengatur ukuran batch write menjadi 32MB. Untuk batas jumlah batch write records, Anda dapat menyesuaikannya berdasarkan ukuran aktual satu record agar keunggulan batch writing dapat dimanfaatkan secara optimal. Misalnya, jika ukuran satu record sekitar 1KB, Anda dapat mengatur ukuran batch write menjadi 16MB dan jumlah batch write records menjadi nilai yang lebih besar dari hasil pembagian 16MB dengan ukuran satu record yaitu 1KB (artinya lebih dari 16384 records), seperti 20000 records. Dengan konfigurasi ini, sistem akan memicu batch writing berdasarkan ukuran batch write. Ketika data yang terakumulasi mencapai 16MB, operasi penulisan akan dilakukan.
   	Pre-statement (opsional)	Skrip SQL yang dieksekusi pada database sebelum impor data. Misalnya, untuk memastikan ketersediaan layanan berkelanjutan, sebelum langkah ini menulis data, terlebih dahulu membuat tabel target Target_A, lalu menulis data ke Target_A. Setelah langkah ini selesai menulis data, sistem mengubah nama tabel Service_B yang sedang melayani menjadi Temp_C, lalu mengubah nama tabel Target_A menjadi Service_B, dan akhirnya menghapus Temp_C.
   	Post-statement (opsional)	Skrip SQL yang dieksekusi pada database setelah impor data.
   Field Mapping	Input Fields	Menampilkan field input berdasarkan output dari komponen hulu.
   	Output Fields	Menampilkan field output. Anda dapat melakukan operasi berikut: Field management: Klik Field Management untuk memilih field output. Klik ikon untuk memindahkan Selected Input Fields ke Unselected Input Fields. Klik ikon untuk memindahkan Unselected Input Fields ke Selected Input Fields. Batch add: Klik Batch Add untuk mengonfigurasi dalam format JSON, TEXT, atau DDL. Konfigurasi batch dalam format JSON, contohnya: // Contoh: [{"name":"id","type":"String"}, {"name":"aaasa","type":"String"}, {"name":"creator","type":"String"}, {"name":"modifier","type":"String"}, {"name":"creator_nickname","type":"String"}, {"name":"modifier_nickname","type":"String"}, {"name":"create_time","type":"Date"}, {"name":"modify_time","type":"Date"}, {"name":"qbi_system_upload_id","type":"Long"}] Catatan name menunjukkan nama field yang diimpor, dan type menunjukkan tipe field setelah impor. Misalnya, "name":"user_id","type":"String" berarti mengimpor field bernama user_id dan mengatur tipenya menjadi String. Konfigurasi batch dalam format TEXT, contohnya: // Contoh: id,String aaasa,String creator,String modifier,String creator_nickname,String modifier_nickname,String create_time,Date modify_time,Date qbi_system_upload_id,Long pemisah baris digunakan untuk memisahkan informasi tiap field. Default-nya adalah line feed (\n). Pemisah yang didukung meliputi line feed (\n), titik koma (;), dan titik (.). Pemisah kolom digunakan untuk memisahkan nama field dan tipe field. Default-nya adalah koma (,). Konfigurasi batch dalam format DDL, contohnya: CREATE TABLE tablename ( id INT PRIMARY KEY, name VARCHAR(50), age INT ); Buat field output baru: Klik +Create Output Field, isi Column dan pilih Type sesuai petunjuk. Setelah menyelesaikan konfigurasi untuk baris saat ini, klik ikon untuk menyimpan.
   	Quick Mapping	Berdasarkan input hulu dan field tabel target, Anda dapat memilih pemetaan field secara manual. Quick Mapping mencakup Same Row Mapping dan Same Name Mapping. Same name mapping: Memetakan field dengan nama yang sama. Same row mapping: Memetakan field pada baris yang sama ketika nama field di tabel sumber dan target berbeda, tetapi data pada baris yang bersesuaian perlu dipetakan.

9. Klik OK untuk menyelesaikan konfigurasi properti komponen output Amazon RDS for SQL Server.