DataWorks：Pengembangan data: Pengembang

Pergi ke halaman DataStudio

Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

Prosedur

1. Langkah 1: Buat Alur Kerja

   Kode dikembangkan berdasarkan alur kerja di DataStudio. Sebelum Anda melakukan operasi pengembangan, Anda harus membuat alur kerja.

2. Langkah 2: Buat Tabel

   DataWorks memungkinkan Anda membuat tabel secara visual dan menampilkan tabel dalam struktur direktori. Sebelum pengembangan data, Anda harus membuat tabel di mesin komputasi MaxCompute untuk menyimpan hasil pemrosesan data.

3. Langkah 3: Buat Node

   Pengembangan data di DataWorks didasarkan pada node, dan node dari berbagai jenis mesin komputasi dienkapsulasi menjadi berbagai jenis node di DataWorks. Anda dapat memilih tipe node yang sesuai untuk mengembangkan node mesin komputasi berdasarkan kebutuhan bisnis Anda.

4. Langkah 4: Konfigurasikan Node

   Anda dapat menulis kode untuk node di tab konfigurasi node berdasarkan sintaks yang didukung oleh database terkait.

5. Langkah 5: Konfigurasikan Properti Penjadwalan untuk Node

   Anda dapat mengonfigurasi properti penjadwalan untuk node agar sistem dapat menjadwalkan dan menjalankan node secara berkala.

6. Langkah 6: Debug Kode Node

   Anda dapat menggunakan fitur Jalankan Cepat untuk potongan kode, atau fitur Jalankan atau Jalankan dengan Parameter untuk men-debug dan memeriksa logika kode node.

7. Langkah 7: Simpan dan Komit Node

   Setelah node di-debug, Anda harus menyimpan dan mengomitmennya.

8. Langkah 8: Lakukan Pengujian Asap

   Untuk memastikan node berjalan efisien di lingkungan produksi dan mencegah pemborosan sumber daya komputasi, Anda dapat mengomitmennya ke lingkungan pengembangan dan melakukan pengujian asap di lingkungan pengembangan sebelum menerapkannya. Ini membantu memastikan kebenaran kode node.

9. Langkah 9: Terapkan Node

   DataWorks hanya dapat menjadwalkan node yang diterapkan ke lingkungan produksi secara otomatis. Setelah node lulus pengujian asap, Anda harus menerapkannya ke lingkungan produksi agar DataWorks dapat menjadwalkan node secara berkala.

Langkah 1: Buat alur kerja

DataWorks mengorganisir proses pengembangan data menggunakan alur kerja. DataWorks menyediakan dasbor untuk berbagai jenis node dalam setiap alur kerja dan memungkinkan Anda menggunakan alat serta mengoptimalkan dan mengelola node di dasbor. Ini memfasilitasi pengembangan dan manajemen data. Anda dapat menempatkan node dari jenis bisnis yang sama dalam satu alur kerja berdasarkan kebutuhan bisnis Anda.

1. Pergi ke halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Buat alur kerja.

   Anda dapat menggunakan salah satu metode berikut untuk membuat alur kerja:

   • Metode 1: Gerakkan pointer di atas ikon dan klik Create Workflow.

   • Metode 2: Klik kanan Business Flow di panel Alur Kerja Terjadwal dan pilih Create Workflow.

3. Di kotak dialog Buat Alur Kerja, konfigurasikan parameter Nama Alur Kerja dan Deskripsi untuk alur kerja, dan klik Create.

   Dalam contoh ini, parameter Nama Alur Kerja diatur ke Buat node pemicu otomatis pertama. Anda dapat mengonfigurasi parameter Nama Alur Kerja berdasarkan kebutuhan bisnis Anda dalam skenario pengembangan data aktual.

   Catatan

   Untuk informasi lebih lanjut tentang cara menggunakan alur kerja, lihat Buat Alur Kerja.

Langkah 2: Buat tabel

Node pengembangan data DataWorks membersihkan dan memproses data sumber. Sebelum pengembangan data, Anda harus membuat tabel di mesin komputasi yang diperlukan untuk menyimpan hasil pembersihan data dan menentukan skema tabel.

1. Buat tabel.

   1. Klik Alur Bisnis di panel Alur Kerja Terjadwal. Temukan alur kerja yang dibuat di Langkah 1, klik nama alur kerja, klik kanan MaxCompute, dan pilih Create Table.

   2. Di kotak dialog Buat Tabel, konfigurasikan parameter seperti Instance Mesin dan Nama.

   Dalam contoh ini, tabel-tabel berikut dibuat.

   Nama tabel	Deskripsi
   bank_data	Digunakan untuk menyimpan data bisnis mentah.
   result_table	Digunakan untuk menyimpan hasil pembersihan data.

   Catatan

   • Untuk informasi tentang pernyataan pembuatan tabel, lihat Pernyataan Pembuatan Tabel.

   • Untuk informasi tentang cara membuat tabel di mesin komputasi yang berbeda secara visual, seperti membuat tabel MaxCompute atau tabel EMR, lihat Buat Tabel.

2. Hasilkan skema tabel.

   Pergi ke tab konfigurasi tabel, beralih ke mode DDL, dan gunakan pernyataan DDL untuk menghasilkan skema untuk tabel. Setelah skema tabel dihasilkan, konfigurasikan parameter Display Name di bagian General, klik Komit ke Lingkungan Pengembangan, dan kemudian klik Komit ke Lingkungan Produksi di bilah alat atas. Setelah tabel dikomit, Anda dapat melihat tabel di sumber data MaxCompute di lingkungan terkait. Untuk informasi tentang cara melihat sumber data yang ditambahkan ke ruang kerja di lingkungan yang berbeda, lihat Tambahkan Sumber Data MaxCompute.

   Catatan

   • Operasi seperti pembuatan tabel dan pembaruan tabel hanya dapat berlaku di mesin komputasi terkait setelah dikomit ke lingkungan yang diperlukan.

   • Anda juga dapat mengikuti petunjuk layar yang ditampilkan di konsol DataWorks untuk mengonfigurasi skema tabel secara visual berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut tentang cara membuat tabel secara visual, lihat Buat dan Kelola Tabel MaxCompute.

   Dalam contoh ini, pernyataan berikut digunakan untuk menghasilkan skema tabel bank_data:

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT 'Usia',
    job             STRING COMMENT 'Jenis pekerjaan',
    marital         STRING COMMENT 'Status perkawinan',
    education       STRING COMMENT 'Tingkat pendidikan',
    default         STRING COMMENT 'Kartu kredit',
    housing         STRING COMMENT 'Hipotek',
    loan            STRING COMMENT 'Pinjaman',
    contact         STRING COMMENT 'Informasi kontak',
    month           STRING COMMENT 'Bulan',
    day_of_week     STRING COMMENT 'Hari dalam seminggu',
    duration        STRING COMMENT 'Durasi',
    campaign        BIGINT COMMENT 'Jumlah kontak selama kampanye',
    pdays           DOUBLE COMMENT 'Interval dari kontak terakhir',
    previous        DOUBLE COMMENT 'Jumlah kontak dengan pelanggan',
    poutcome        STRING COMMENT 'Hasil kampanye pemasaran sebelumnya',
    emp_var_rate    DOUBLE COMMENT 'Tingkat perubahan pekerjaan',
    cons_price_idx  DOUBLE COMMENT 'Indeks harga konsumen',
    cons_conf_idx   DOUBLE COMMENT 'Indeks kepercayaan konsumen',
    euribor3m       DOUBLE COMMENT 'Tingkat deposito Euro',
    nr_employed     DOUBLE COMMENT 'Jumlah karyawan',
    y               BIGINT COMMENT 'Deposit waktu tersedia atau tidak'
   );

   Dalam contoh ini, pernyataan berikut digunakan untuk menghasilkan skema tabel result_table:

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT 'Tingkat pendidikan',
   num BIGINT COMMENT 'Jumlah orang'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. Unggah data.

   Unggah data bisnis mentah ke tabel di DataWorks. Dalam contoh ini, data diunggah ke tabel bank_data. Dalam contoh ini, file bernama banking.txt diunggah dari mesin lokal ke DataWorks. Gambar berikut menunjukkan prosedurnya. Untuk informasi lebih lanjut tentang cara mengunggah data, lihat Unggah File dari Mesin Lokal Anda ke Tabel bank_data.

Langkah 3: Buat node

1. Buat node.

   Anda dapat menggunakan salah satu metode berikut untuk membuat node:

   • Metode 1: Buat node di panel Alur Kerja Terjadwal

     1. Di panel Alur Kerja Terjadwal halaman DataStudio, klik Business Flow, temukan alur kerja yang Anda buat, dan klik nama alur kerja.

     2. Klik kanan mesin komputasi yang ingin Anda gunakan, dan pilih tipe node yang sesuai setelah Anda gerakkan pointer di atas Create Node untuk membuat node dari tipe yang dipilih.

   • Metode 2: Buat node di tab konfigurasi alur kerja

     1. Di panel Alur Kerja Terjadwal halaman DataStudio, klik Business Flow dan temukan alur kerja yang Anda buat.

     2. Klik dua kali nama alur kerja untuk pergi ke tab konfigurasi alur kerja.

     3. Di bagian kiri tab konfigurasi, klik tipe node yang diperlukan atau seret tipe node yang diperlukan ke kanvas di sebelah kanan.

2. Di kotak dialog Buat Node, konfigurasikan parameter seperti Instance Mesin dan Nama.

   Dalam contoh ini, node ODPS SQL bernama result_table dibuat. Nama node sama dengan nama tabel hasil yang dibuat di Langkah 2.

   Catatan

   Saat Anda menggunakan DataWorks untuk pengembangan data, Anda perlu menggunakan node komputasi untuk membersihkan data dan kemudian menyimpan hasil pembersihan di tabel hasil. Kami sarankan Anda menggunakan nama tabel hasil sebagai nama node untuk dengan cepat menemukan data tabel yang dihasilkan oleh node.

   

Langkah 4: Konfigurasikan node

Temukan node yang Anda buat di Langkah 3, dan klik dua kali nama node untuk pergi ke tab konfigurasi node. Di tab konfigurasi node, tulis kode node berdasarkan sintaks yang didukung oleh database terkait.

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

Langkah 5: Konfigurasikan properti penjadwalan untuk node

Langkah 6: Debug kode node

Langkah 7: Simpan dan komit node

1. Klik ikon di bilah alat atas untuk menyimpan node.

2. Klik ikon di bilah alat atas untuk mengomitmennya ke lingkungan pengembangan.

Langkah 8: Lakukan pengujian asap

Langkah 9: Terapkan node

Dalam ruang kerja dalam mode standar, operasi yang dikomit di halaman DataStudio, termasuk penambahan, pembaruan, dan penghapusan node pengembangan data, sumber daya, dan fungsi, dalam keadaan tertunda di halaman Buat Tugas Penyebaran. Anda dapat klik Deploy untuk pergi ke halaman Create Deploy Task, dan menerapkan operasi terkait ke lingkungan produksi. Operasi tersebut hanya berlaku setelah diterapkan ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Terapkan Node.