Function Compute:DataWorks

Informasi latar belakang

DataWorks adalah platform pengembangan dan tata kelola big data ujung ke ujung yang menyediakan solusi gudang data, danau data, serta danau-gudang data berdasarkan mesin komputasi big data seperti MaxCompute, Hologres, E-MapReduce (EMR), AnalyticDB, dan CDH. Layanan DataStudio dari DataWorks memungkinkan Anda menentukan properti pengembangan dan penjadwalan dari node yang dipicu otomatis. DataStudio bekerja sama dengan Operation Center untuk menyediakan antarmuka pengembangan visual untuk node dari berbagai jenis mesin komputasi, seperti MaxCompute, Hologres, dan E-MapReduce (EMR). Anda dapat mengonfigurasi pengaturan pada antarmuka pengembangan visual untuk melakukan pengembangan kode cerdas, orkestrasi node multi-mesin dalam alur kerja, dan penyebaran node standar. Dengan cara ini, Anda dapat membangun gudang data offline, gudang data real-time, dan sistem analisis ad hoc untuk memastikan produksi data yang efisien dan stabil.

DataStudio dari DataWorks dapat memanggil fungsi event dari Function Compute untuk memproses permintaan. Penjadwalan otomatis dapat diimplementasikan dengan mengonfigurasi properti penjadwalan periodik node dan menerbitkan properti tersebut ke lingkungan produksi.

Sebelum Anda mulai

• DataWorks

  • Aktifkan DataWorks

  • Buat Ruang Kerja

  • Tambahkan Sumber Data atau Daftarkan Kluster ke Ruang Kerja

• Function Compute

  • Buat Layanan

  • Buat Fungsi

Batasan

• Batasan pada Fitur

  DataWorks hanya memungkinkan Anda memanggil fungsi event. Jika Anda ingin menjadwalkan secara berkala fungsi pemrosesan event di DataWorks, Anda harus membuat fungsi event bukan fungsi HTTP untuk memproses permintaan event di Function Compute. Untuk informasi lebih lanjut tentang jenis fungsi lainnya, lihat Pemilihan Jenis Fungsi.

• Batasan pada Wilayah

  Anda hanya dapat menggunakan fitur yang disediakan oleh Function Compute di ruang kerja yang dibuat di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Hong Kong), Singapura, Inggris (London), AS (Silicon Valley), AS (Virginia), India (Mumbai), dan Jerman (Frankfurt).

Perhatian

• Saat menggunakan node Function Compute, Anda harus memanggil fungsi event yang akan dieksekusi berdasarkan layanan yang Anda buat. Anda mungkin tidak mendapatkan daftar layanan yang telah dibuat saat ingin memilih layanan. Masalah ini mungkin terjadi karena salah satu alasan berikut:

  • Akun Anda saat ini memiliki pembayaran yang tertunda. Dalam hal ini, isi ulang akun Anda dan segarkan halaman konfigurasi node untuk mencoba lagi.

  • Akun Anda tidak memiliki izin yang diperlukan untuk mendapatkan daftar layanan. Dalam hal ini, hubungi akun Alibaba Cloud untuk memberikan Anda izin fc:ListServices atau lampirkan kebijakan AliyunFCFullAccess ke akun Anda. Setelah otorisasi selesai, segarkan halaman konfigurasi node untuk mencoba lagi. Untuk informasi lebih lanjut tentang otorisasi, lihat Berikan Izin kepada Pengguna RAM.

• Saat Anda memanggil fungsi untuk menjalankan node Function Compute di DataWorks, jika durasi eksekusi node melebihi satu jam, atur parameter Metode Pemanggilan ke Pemanggilan Asinkron untuk node tersebut. Untuk informasi lebih lanjut tentang pemanggilan asinkron, lihat Ikhtisar.

• Jika Anda mengembangkan node Function Compute sebagai pengguna RAM, kebijakan sistem atau kebijakan kustom berikut harus dilampirkan ke pengguna RAM.

  Jenis Kebijakan	Deskripsi
  Kebijakan Sistem	Lampirkan kebijakan AliyunFCFullAccess, AliyunFCReadOnlyAccess, dan AliyunFCInvocationAccess ke pengguna RAM. Untuk informasi lebih lanjut tentang kebijakan sistem, lihat Kebijakan Sistem.
  Kebijakan Kustom	Berikan semua izin berikut kepada pengguna RAM dengan menggunakan kebijakan kustom: fc:GetAsyncTask fc:StopAsyncTask fc:GetService fc:ListServices fc:GetFunction fc:InvokeFunction fc:ListFunctions fc:GetFunctionAsyncInvokeConfig fc:ListServiceVersions fc:ListAliases fc:GetAlias fc:ListFunctionAsyncInvokeConfigs fc:GetStatefulAsyncInvocation fc:StopStatefulAsyncInvocation

  Catatan

  Untuk informasi lebih lanjut tentang kebijakan lainnya dari Function Compute dan contoh kebijakan, lihat topik atau bagian berikut:

  • Kebijakan dan Contoh Kebijakan

  • Contoh Kebijakan

1. Pergi ke titik masuk untuk membuat node Function Compute

1. Masuk ke konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Pergi ke titik masuk untuk membuat node Function Compute.

   Di halaman DataStudio, Anda dapat menggunakan salah satu metode yang ditunjukkan pada gambar berikut untuk pergi ke titik masuk untuk membuat node Function Compute.

2. Buat dan konfigurasikan node Function Compute

1. Buat node Function Compute.

   Setelah Anda pergi ke titik masuk untuk membuat node Function Compute, konfigurasikan informasi dasar seperti jalur node dan nama node sesuai petunjuk untuk membuat node Function Compute.

2. Konfigurasikan parameter untuk node Function Compute.

   Di tab konfigurasi node Function Compute, pilih fungsi yang ingin Anda panggil untuk menjalankan node dan tentukan metode pemanggilan dan variabel berdasarkan kebutuhan bisnis Anda.

   Parameter	Deskripsi
   Select Function	Pilih fungsi yang ingin Anda panggil untuk menjalankan node Function Compute. Jika tidak ada fungsi yang tersedia, buat fungsi. Untuk informasi lebih lanjut, lihat Buat fungsi. Catatan DataWorks hanya memungkinkan Anda memanggil fungsi event. Jika Anda ingin menjadwalkan secara berkala fungsi pemrosesan event di DataWorks, Anda harus membuat fungsi event bukan fungsi HTTP untuk memproses permintaan event di Function Compute. Untuk informasi lebih lanjut tentang jenis fungsi lainnya, lihat Pemilihan jenis fungsi. Dalam contoh ini, fungsi para_service_01_by_time_triggers dipilih. Saat Anda membuat fungsi seperti itu, gunakan kode contoh untuk triggering a function at a scheduling time. Logika kode: import json import logging logger = logging.getLogger() def handler(event, context): logger.info('event: %s', event) # Parse the json evt = json.loads(event) triggerName = evt["triggerName"] triggerTime = evt["triggerTime"] payload = evt["payload"] logger.info('triggerName: %s', triggerName) logger.info("triggerTime: %s", triggerTime) logger.info("payload: %s", payload) return 'Timer Payload: ' + payload Untuk informasi lebih lanjut tentang kode contoh fungsi lainnya, lihat Kode Contoh.
   Select Version Or Alias	Pilih versi atau alias layanan yang ingin Anda gunakan untuk pemanggilan fungsi selanjutnya. Versi default adalah LATEST. Versi Layanan Function Compute menyediakan fitur versi tingkat layanan, yang memungkinkan Anda merilis satu atau beberapa versi untuk layanan. Versi mirip dengan snapshot layanan yang berisi informasi seperti pengaturan layanan, dan kode serta pengaturan fungsi yang termasuk dalam layanan. Versi tidak berisi informasi pemicu. Saat Anda merilis versi, sistem menghasilkan snapshot untuk layanan dan menetapkan nomor versi yang terkait dengan snapshot untuk digunakan di masa mendatang. Untuk informasi lebih lanjut tentang cara merilis versi, lihat Kelola versi. Alias Versi Function Compute memungkinkan Anda membuat alias untuk versi layanan. Alias menunjuk ke versi tertentu dari layanan. Anda dapat menggunakan alias untuk melakukan rilis versi, rollback, atau rilis canary dengan mudah. Alias bergantung pada layanan atau versi. Saat Anda menggunakan alias untuk mengakses layanan atau fungsi, Function Compute mengurai alias menjadi versi yang ditunjuk oleh alias. Dengan cara ini, pemanggil tidak perlu mengetahui versi spesifik yang ditunjuk oleh alias. Untuk informasi tentang cara membuat alias, lihat Kelola alias.
   Invocation Method	Metode untuk memanggil fungsi. Nilai valid: Pemanggilan Sinkron: Saat Anda memanggil fungsi secara sinkron, sebuah event langsung memicu fungsi, dan Function Compute mengeksekusi fungsi dan menunggu respons. Setelah fungsi dipanggil, Function Compute mengembalikan hasil eksekusi fungsi. Pemanggilan Asinkron: Saat Anda memanggil fungsi secara asinkron, Function Compute segera mengembalikan respons setelah permintaan disimpan secara persisten, bukan hanya setelah eksekusi permintaan selesai. Jika fungsi Anda memiliki logika yang memakan waktu, sumber daya, atau rentan terhadap kesalahan, Anda dapat menggunakan metode ini untuk memungkinkan program Anda merespons lonjakan lalu lintas dengan cara yang efisien dan andal. Kami merekomendasikan Anda menggunakan metode ini untuk tugas Function Compute yang durasi eksekusinya melebihi satu jam.
   Variable	Tetapkan nilai ke variabel dalam fungsi berdasarkan kebutuhan bisnis Anda. Data di bidang ini sesuai dengan konten pada tab Buat Uji Event Baru dari panel Konfigurasi Parameter Uji untuk fungsi di konsol Function Compute. Untuk pergi ke panel Konfigurasi Parameter Uji, pergi ke halaman detail fungsi di konsol Function Compute dan pilih Test Function > Configure Test Parameters pada tab Code. Dalam contoh ini, tetapkan parameter berikut ke variabel sebagai nilai dalam fungsi para_service_01_by_time_triggers. Format ${} digunakan untuk mendefinisikan variabel bizdate. Anda perlu menetapkan nilai ke variabel di Langkah 4. { "payload": "payload1", "triggerTime": "${bizdate}", "triggerName": "triggerName1" }

3. Opsional. Debug dan jalankan node Function Compute.

   Setelah node Function Compute dikonfigurasikan, Anda dapat mengklik ikon untuk menentukan grup sumber daya untuk menjalankan node dan menetapkan konstanta ke variabel dalam kode untuk debug dan menjalankan node dan menguji apakah logika kode node benar. Parameter yang Anda konfigurasikan untuk menjalankan node berada dalam format key=value. Jika Anda mengonfigurasi beberapa parameter, pisahkan mereka dengan koma (,).

   Catatan

   Untuk informasi lebih lanjut tentang debugging node, lihat Prosedur Debugging.

4. Konfigurasikan properti penjadwalan untuk node agar menjadwalkan dan menjalankan node secara berkala.

   DataWorks menyediakan parameter penjadwalan, yang digunakan untuk mengimplementasikan pengiriman parameter dinamis dalam kode node dalam skenario penjadwalan. Setelah Anda menentukan variabel untuk fungsi yang dipilih di tab konfigurasi node Function Compute, Anda perlu pergi ke tab Properti untuk menetapkan nilai ke variabel. Dalam contoh ini, $[yyyymmdd-1] ditetapkan ke variabel bizdate. Dengan cara ini, DataWorks menjalankan node Function Compute pada waktu yang satu hari lebih awal dari waktu penjadwalan node. Untuk informasi lebih lanjut tentang pengaturan parameter penjadwalan, lihat Format yang Didukung dari Parameter Penjadwalan. Untuk informasi lebih lanjut tentang properti penjadwalan, lihat Ikhtisar.

3. Commit dan deploy node Function Compute

Node Function Compute hanya dapat dijadwalkan secara otomatis setelah mereka dicommit dan dideploy ke lingkungan produksi.

1. Simpan dan commit node Function Compute.

   Klik ikon dan di bilah alat atas pada tab konfigurasi node Function Compute untuk menyimpan dan commit node Function Compute. Saat Anda commit node, masukkan deskripsi perubahan sesuai petunjuk dan tentukan apakah akan melakukan tinjauan kode dan pengujian asap.

   Catatan

   • Anda hanya dapat melakukan commit pada node setelah mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti.

   • Jika fitur tinjauan kode diaktifkan, node hanya dapat dideploy setelah kode node disetujui oleh pemeriksa yang ditentukan. Untuk informasi lebih lanjut, lihat Tinjauan Kode.

   • Untuk memastikan bahwa node yang Anda buat dapat dijalankan sesuai harapan, kami menyarankan Anda melakukan pengujian asap sebelum menerapkan node. Untuk informasi lebih lanjut, lihat Lakukan Pengujian Asap.

2. Opsional. Deploy node Function Compute.

   Jika ruang kerja yang Anda gunakan berada dalam mode standar, Anda harus mengklik Deploy di pojok kanan atas untuk menerapkan node setelah Anda melakukan commit. Untuk informasi lebih lanjut, lihat Perbedaan antara ruang kerja dalam mode dasar dan ruang kerja dalam mode standar dan Deploy Node.