DataWorks:Data Studio: Untuk pengembang

Buka Data Studio

Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

Prosedur

1. Langkah 1: Buat alur kerja.

   Pengembangan data diorganisasikan berdasarkan alur kerja. Anda harus membuat alur kerja sebelum mulai mengembangkan kode.

2. Langkah 2: Buat tabel.

   DataWorks memungkinkan Anda membuat tabel secara visual, yang kemudian ditampilkan dalam struktur direktori. Sebelum memulai pengembangan data, Anda harus membuat tabel di compute engine untuk menyimpan hasil pembersihan data.

3. Langkah 3: Buat node.

   DataWorks mengemas tugas dari berbagai compute engine ke dalam jenis node yang berbeda. Anda dapat memilih jenis node yang sesuai berdasarkan kebutuhan bisnis Anda.

4. Langkah 4: Edit node.

   Di halaman pengeditan node, tulis logika bisnis Anda menggunakan sintaksis mesin database node tersebut.

5. Langkah 5: Konfigurasikan pengaturan penjadwalan untuk node.

   Tentukan properti penjadwalan untuk menjalankan node secara berkala.

6. Langkah 6: Debug kode.

   DataWorks menyediakan tiga metode untuk mendebug kode dan memverifikasi logikanya: Quick run untuk potongan kode, Run, dan Advanced run.

7. Langkah 7: Simpan dan kirimkan node.

   Setelah mendebug node, Anda harus menyimpan dan mengirimkannya.

8. Langkah 8: Jalankan pengujian asap.

   Untuk memastikan tugas produksi berjalan efisien dan menghindari pemborosan resource komputasi, jalankan pengujian asap pada tugas Anda di lingkungan pengembangan untuk memverifikasi kebenarannya sebelum penerapan.

9. Langkah 9: Terapkan tugas.

   DataWorks hanya menjalankan tugas terjadwal yang telah diterapkan ke lingkungan produksi. Setelah pengujian asap berhasil, Anda harus menerapkan tugas ke sistem penjadwalan produksi.

Langkah 1: Buat alur kerja

DataWorks mengorganisasikan pengembangan data berdasarkan alur kerja. Alur kerja menggunakan panel berbentuk kontainer untuk node pengembangan, mengelompokkan alat terkait, optimasi, dan aksi manajemen di sekitar objek pusat. Pendekatan ini menyederhanakan pengembangan dan manajemen. Anda dapat mengelompokkan tugas bisnis terkait ke dalam satu alur kerja untuk memenuhi kebutuhan Anda.

1. Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

2. Buat alur kerja.

   Anda dapat membuat alur kerja dengan salah satu dari dua cara berikut:

   • Metode 1: Arahkan kursor ke ikon dan klik Create Workflow.

   • Metode 2: Di pohon navigasi sebelah kiri Data Studio, klik kanan Workflow dan pilih Create Workflow.

3. Masukkan nama dan deskripsi untuk alur kerja, lalu klik Create.

   Dalam tutorial ini, alur kerja bernama Create your first scheduled task dibuat. Dalam skenario dunia nyata, Anda harus merencanakan alur kerja berdasarkan kebutuhan bisnis Anda.

   Catatan

   Untuk informasi selengkapnya tentang alur kerja, lihat Buat dan kelola alur kerja.

Langkah 2: Buat tabel

Node Data Studio membersihkan dan memproses data sumber Anda. Oleh karena itu, Anda harus terlebih dahulu membuat tabel di compute engine untuk menyimpan hasil pembersihan data dan mendefinisikan struktur tabel tersebut.

1. Buat tabel.

   1. Di alur kerja yang Anda buat pada Langkah 1, perluas sub-direktori, klik kanan MaxCompute > Table, lalu pilih Create Table.

   2. Konfigurasikan nama tabel, instans engine, dan informasi lainnya.

   Dalam tutorial ini, dua tabel berikut dibuat.

   Nama Tabel	Deskripsi
   bank_data	Menyimpan data bisnis mentah.
   result_table	Menyimpan hasil data yang telah dibersihkan.

   Catatan

   • Untuk pernyataan pembuatan tabel, lihat Pernyataan pembuatan tabel.

   • Untuk informasi selengkapnya tentang pembuatan tabel secara visual untuk berbagai engine, seperti membuat tabel MaxCompute atau EMR, lihat Buat tabel.

2. Konfigurasikan struktur tabel.

   Buka halaman pengeditan tabel, beralih ke mode DDL, dan gunakan pernyataan DDL untuk mengonfigurasi struktur tabel. Setelah struktur tabel dihasilkan, masukkan Display Name untuk tabel di bagian General. Lalu, kirimkan ke lingkungan pengembangan dan produksi. Setelah mengirimkan tabel, Anda dapat melihatnya di proyek sumber data lingkungan yang sesuai. Untuk melihat informasi sumber data yang diikat untuk setiap lingkungan, lihat Mengikat resource komputasi MaxCompute.

   Catatan

   • Operasi tabel seperti pembuatan dan pembaruan hanya berlaku di compute engine setelah Anda mengirimkannya ke lingkungan yang sesuai.

   • Anda juga dapat mengonfigurasi struktur tabel secara visual berdasarkan kebutuhan bisnis dan petunjuk di layar. Untuk informasi selengkapnya tentang pembuatan tabel secara visual, lihat Buat dan gunakan tabel MaxCompute.

   Pernyataan berikut adalah referensi untuk menghasilkan struktur tabel bank_data.

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT 'Age',
    job             STRING COMMENT 'Job type',
    marital         STRING COMMENT 'Marital status',
    education       STRING COMMENT 'Education level',
    default         STRING COMMENT 'Whether the user has a credit card',
    housing         STRING COMMENT 'Housing loan',
    loan            STRING COMMENT 'Personal loan',
    contact         STRING COMMENT 'Contact method',
    month           STRING COMMENT 'Month of the year',
    day_of_week     STRING COMMENT 'Day of the week',
    duration        STRING COMMENT 'Last contact duration, in seconds',
    campaign        BIGINT COMMENT 'Number of contacts performed during this campaign',
    pdays           DOUBLE COMMENT 'Days since the last contact from a previous campaign',
    previous        DOUBLE COMMENT 'Number of contacts performed before this campaign',
    poutcome        STRING COMMENT 'Outcome of the previous marketing campaign',
    emp_var_rate    DOUBLE COMMENT 'Employment variation rate',
    cons_price_idx  DOUBLE COMMENT 'Consumer price index',
    cons_conf_idx   DOUBLE COMMENT 'Consumer confidence index',
    euribor3m       DOUBLE COMMENT 'Euribor 3-month rate',
    nr_employed     DOUBLE COMMENT 'Number of employees',
    y               BIGINT COMMENT 'Whether the client has subscribed to a term deposit'
   );

   Pernyataan berikut adalah referensi untuk menghasilkan struktur tabel result_table.

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT 'Education level',
   num BIGINT COMMENT 'Number of people'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. Unggah data.

   Simpan data bisnis mentah Anda di tabel DataWorks. Dalam contoh ini, file lokal banking.txt diunggah ke tabel bank_data di DataWorks untuk mensimulasikan skenario penulisan data dunia nyata. Di wizard impor data, pertama-tama pilih tabel target bank_data, pastikan skema tabel mencakup bidang seperti age, job, marital, education, default, dan housing, lalu atur parameter partisi. Selanjutnya, unggah file lokal banking.txt, atur format file ke CSV, delimiter ke koma, set karakter ke GBK, dan baris awal impor ke 1, lalu centang kotak 'First row is header'. Terakhir, pilih Match by Name sebagai metode pemetaan bidang, pastikan pemetaan antara bidang sumber dan target benar, lalu klik Import Data untuk menyelesaikan operasi. Untuk informasi selengkapnya tentang pengunggahan data, lihat Unggah data lokal ke tabel bank_data.

Langkah 3: Buat node

1. Buat node.

   Anda dapat membuat node dengan salah satu dari dua cara berikut:

   • Metode 1: Buat dari pohon navigasi.

     1. Di pohon navigasi, temukan alur kerja yang Anda buat pada Langkah 1 di bawah Workflow.

     2. Klik kanan engine yang diinginkan dan pilih node yang sesuai di bawah Create Node.

   • Metode 2: Buat dari panel alur kerja.

     1. Di pohon navigasi, temukan alur kerja yang Anda buat pada Langkah 1 di bawah Workflow.

     2. Klik ganda alur kerja untuk membuka panelnya.

     3. Di panel navigasi sebelah kiri, klik node yang diinginkan atau seret ke kanvas.

2. Konfigurasikan instans engine, nama, dan pengaturan lainnya untuk node.

   Dalam tutorial ini, node ODPS SQL bernama result_table dibuat, yang sama dengan nama tabel hasil yang dibuat pada Langkah 2.

   Catatan

   Saat menggunakan node DataWorks untuk pengembangan data, Anda membersihkan data dengan node pengembangan dan menyimpan hasilnya di tabel hasil. Beri nama node sesuai dengan tabel hasil yang diisi agar lebih mudah menemukan data tabel yang dihasilkan oleh node tersebut.

   Di bagian Common Nodes panel Data Studio, seret node ODPS SQL ke kanvas di sebelah kanan untuk membuatnya.

Langkah 4: Edit node

Temukan node yang Anda buat pada Langkah 3 di pohon navigasi alur kerja atau di panel alur kerja. Klik ganda node tersebut untuk membuka editor. Berdasarkan jenis node, tulis logika bisnis Anda menggunakan sintaksis database yang sesuai.

--@exclude_output=xc_DPE_E2.result_table
--@exclude_input=bank_data
--odps sql
--***********************************************************--
--author:xxx
--create time:2022-08-11 14:33:23
--***********************************************************--
INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
    , COUNT(marital) AS num
FROM bank_data
WHERE  day='${day}' and hour='${hour}'
GROUP BY education;

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

Langkah 5: Konfigurasikan pengaturan penjadwalan

Langkah 6: Debug kode

Langkah 7: Simpan dan kirimkan node

1. Klik ikon di bilah alat untuk menyimpan konfigurasi node.

2. Klik ikon di bilah alat untuk mengirimkan node ke lingkungan pengembangan.

Langkah 8: Jalankan pengujian asap

Langkah 9: Terapkan tugas

Di ruang kerja mode standar, setiap perubahan yang Anda kirimkan di Data Studio, seperti membuat, memperbarui, atau menghapus node, resource, dan fungsi, dikirim ke halaman penerapan tugas untuk menunggu penerapan. Untuk menerapkan perubahan tersebut, Anda harus menavigasi ke Task Deployment > Create Deploy Task dan membuat paket penyebaran untuk merilisnya ke lingkungan produksi. Perubahan tersebut hanya aktif setelah penerapan berhasil. Untuk informasi selengkapnya, lihat Terapkan tugas.