Memulai Cepat: Platform Manajemen Operasi Pekerjaan Stream - Lindorm

Platform Manajemen Operasi Stream Job memungkinkan Anda mengirimkan dan mengelola pekerjaan (job) beserta sumber daya yang diperlukannya. Platform ini mendukung isolasi job dan sumber daya antar ruang kerja yang berbeda serta menyediakan pengelolaan izin pengguna. Topik ini menjelaskan fitur-fitur dasar platform dan menunjukkan alur kerja dasarnya melalui contoh pengiriman job DPI engine Jar, job DPI engine SQL, dan job DPI engine Python.

Prasyarat

Anda telah mengaktifkan DPI engine.

Fitur dasar

Manajemen job

Buat, ubah, dan hapus job.
Atur dan kelola job dalam folder.
Kelola beberapa versi job.
Jenis job yang didukung adalah Stream Engine JAR, Stream Engine SQL, dan Stream Engine Python.
Pindahkan dan salin job dalam ruang kerja yang sama atau lintas ruang kerja berbeda.

Manajemen dependensi

Buat, ubah, dan hapus resource.
Atur dan kelola resource dalam folder.
Kelola beberapa versi resource.

Mendukung enam jenis resource: Jar App, Jar Library, Config File, Python App, Python Library, dan Data File. Tujuan masing-masing sebagai berikut:

Tipe sumber daya	Jenis file yang diperlukan	Tujuan
Jar App	`.jar`	Program utama untuk job DPI engine JAR.
Jar Library	`.jar`	Dependensi Jar. Dapat digunakan pada semua jenis job.
Config File	Jenis file teks seperti `.txt`, `.xml`, dan `.properties`.	File konfigurasi. Dibaca oleh kode program utama job DPI engine JAR untuk mendapatkan informasi konfigurasi.
Python App	`.py`	Ini adalah program utama untuk job stream engine Python.
Python Library	`.py` atau paket terkompresi yang berisi program Python, seperti `.tar.gz` atau `.zip`.	Dependensi Python untuk job DPI engine Python.
Data File	Paket terkompresi yang berisi file data, seperti `.zip` atau `.tar.gz`. File data tersebut dapat berupa format seperti `.txt`.	Dependensi data untuk job Stream engine Python.

Pindahkan dan salin resource serta folder resource dalam ruang kerja yang sama atau lintas ruang kerja berbeda.
Unduh resource dan tampilkan resource Config File secara online.

Manajemen kluster

Memungkinkan Anda melihat kluster DPI engine yang dapat digunakan untuk membuat job dalam mode standalone.

Manajemen pengguna

Memungkinkan Anda melihat semua pengguna yang dapat login ke Platform Manajemen Operasi Stream Job.

Manajemen ruang kerja

Memungkinkan Anda melihat, membuat, menghapus, dan mengubah ruang kerja. Job dan resource terisolasi serta independen antar ruang kerja yang berbeda.

Manajemen Peran

Memungkinkan Anda melihat, membuat, menghapus, dan mengubah informasi role.

Role digunakan untuk menentukan izin. Pengguna root memiliki izin administrator tertinggi. Untuk mendapatkan izin operasi, pengguna non-root harus diberi role dalam suatu ruang kerja. Role tersebut dapat diberikan oleh pengguna root atau pengguna lain yang berwenang melalui modul Manajemen Anggota.

Manajemen anggota

Memungkinkan Anda melihat, membuat, menghapus, dan mengubah informasi anggota dalam ruang kerja saat ini. Informasi anggota menentukan izin yang dimiliki pengguna untuk melakukan operasi dalam ruang kerja tersebut.

Login ke Platform Manajemen Operasi Stream Job

Dapatkan username dan password Anda

Login ke Konsol Lindorm. Di pojok kiri atas halaman, pilih wilayah instans. Pada halaman Instances, klik ID instans target atau klik View Instance Details di kolom Actions untuk instans tersebut.
Di panel navigasi sebelah kiri, klik Database Connections.
Klik tab DPI engine untuk mendapatkan username dan password default.

Login ke platform

Di panel navigasi sebelah kiri, klik Stream Engine.
Klik Enter Stream Job Operations Management Platform.
Catatan
Platform Manajemen Operasi Stream Job saat ini berada dalam tahap pratinjau undangan. Jika ingin menggunakan fitur ini, hubungi dukungan teknis Lindorm (ID DingTalk: s0s3eg3) untuk meminta akses.
Masukkan username dan password Anda untuk login ke platform.

Contoh penggunaan

Mengirimkan job Stream Engine Jar

Persiapkan resource

Di panel navigasi sebelah kiri, klik Dependency Management.
Klik kanan folder dependensi target, pilih Create Resource, lalu unggah resource yang diperlukan, seperti Jar App, Jar Library, dan Config File.

Buat job

Di panel navigasi sebelah kiri, klik Job Management.
Pilih New > New Job.
Isi parameter yang diperlukan.
Catatan
Nama job dapat berisi karakter Tionghoa, huruf kapital, huruf kecil, tanda hubung (-), dan garis bawah (_). Nama tidak boleh mengandung dua spasi berurutan.
Klik Submit.

Tambahkan versi job

Klik nama job target untuk membuka halaman detailnya.
Klik Add untuk mengonfigurasi informasi versi job. Resource bawaan adalah dependensi yang disediakan sistem yang dapat langsung Anda gunakan tanpa perlu mengunggahnya.
Untuk menggunakan file konfigurasi dalam program utama, Anda dapat menggunakan jalur mutlak atau jalur relatif:
- Jalur mutlak bersifat tetap: /home/hadoop/cluster-data/lstream/user-config/ConfigFileName.
- Untuk jalur relatif, file konfigurasi dianggap berada di folder resources dari Jar program utama. Anda dapat mengaksesnya menggunakan metode seperti getClassLoader().getResourceAsStream(ConfigFileName).
Klik Create Version.

Publikasikan versi job

Klik di kolom Actions versi target untuk mempublikasikan versi job tersebut.

Mulai Pekerjaan

Klik di kolom Actions versi target untuk menjalankan job.
Pada kotak dialog Start Job, pilih apakah akan memulai dari savepoint atau jalur checkpoint yang sudah ada untuk melanjutkan status eksekusi sebelumnya.
Penting
Satu job dapat memiliki beberapa versi, tetapi hanya satu versi yang dapat dalam status Berjalan.

Hentikan job

Klik di kolom Actions versi target untuk menghentikan job yang sedang berjalan. Anda dapat memilih untuk memicu savepoint guna menyimpan status eksekusi saat ini untuk digunakan saat menjalankan job berikutnya.

Hapus versi job

Di kolom Actions versi target, pilih > Delete.

Mengirimkan job stream engine SQL

Persiapkan resource

Di panel navigasi sebelah kiri, klik Dependency Management.
Klik kanan folder dependensi target, pilih Create Resource, lalu unggah resource Jar Library yang diperlukan, seperti User-Defined Functions (UDFs).

Buat job

Di panel navigasi sebelah kiri, klik Job Management.
Pilih New > New Job.
Isi parameter yang diperlukan.
Catatan
Nama job dapat berisi karakter Tionghoa, huruf kapital, huruf kecil, tanda hubung (-), dan garis bawah (_). Nama tidak boleh mengandung dua spasi berurutan.
Klik Submit.

Tambahkan versi job

Klik nama job target untuk membuka halaman detailnya.
Klik Add untuk mengonfigurasi informasi versi job.
Kotak dialog menyediakan pelengkapan otomatis dan penyorotan sintaks untuk Pernyataan SQL. Fitur ini juga mendukung pemeriksaan sintaks SQL, seperti yang ditunjukkan pada gambar berikut:
Klik Create Version.

Publikasikan versi job

Klik di kolom Actions versi target untuk mempublikasikan versi job tersebut.

Mulai pekerjaan

Klik di kolom Actions versi target untuk menjalankan job.
Pada kotak dialog Start Job, pilih apakah akan memulai dari savepoint atau jalur checkpoint yang sudah ada untuk melanjutkan status eksekusi sebelumnya.
Penting
Satu job dapat memiliki beberapa versi, tetapi hanya satu versi yang dapat dalam status Berjalan.

Hentikan job

Di kolom Actions versi target, klik ikon untuk menghentikan job yang sedang berjalan. Saat menghentikan job, Anda dapat memilih apakah akan memicu savepoint guna menyimpan status eksekusi saat ini. Hal ini memungkinkan Anda melanjutkan job tersebut di kemudian hari.

Hapus versi job

Di kolom Actions versi target, pilih > Delete untuk menghapus versi job tersebut.

Kirimkan job stream engine Python

Persiapkan resource

Di panel navigasi sebelah kiri, klik Dependency Management.
Klik kanan folder dependensi target, pilih Create Resource, lalu unggah resource yang diperlukan, seperti Python App, Python Library, dan Data File.

Buat job

Di panel navigasi sebelah kiri, klik Job Management.
Pilih New > New Job.
Isi parameter yang diperlukan.
Catatan
Nama job dapat berisi karakter Tionghoa, huruf kapital, huruf kecil, tanda hubung (-), dan garis bawah (_). Nama tidak boleh mengandung dua spasi berurutan.
Klik Submit.

Tambahkan versi pekerjaan

Klik nama job target untuk membuka halaman detailnya.
Klik Add untuk mengonfigurasi informasi versi job. Resource bawaan adalah dependensi yang disediakan sistem yang dapat langsung Anda gunakan tanpa perlu mengunggahnya.
Klik Create Version.

Publikasikan versi job

Klik ikon di kolom Actions versi target untuk mempublikasikan versi job tersebut.

Jalankan job

Klik di kolom Actions versi target untuk menjalankan job.
Pada kotak dialog Start Job, pilih apakah akan memulai dari savepoint atau jalur checkpoint yang sudah ada untuk melanjutkan status eksekusi sebelumnya.
Penting
Satu job dapat memiliki beberapa versi, tetapi hanya satu versi yang dapat dalam status Berjalan.

Hentikan job

Klik ikon di kolom Actions versi target untuk menghentikan job yang sedang berjalan. Anda dapat memilih untuk memicu savepoint guna menyimpan status eksekusi saat ini untuk digunakan saat menjalankan job berikutnya.

Hapus versi job

Di kolom Actions versi target, pilih > Delete untuk menghapus versi job tersebut.