E-MapReduce:Kelola proyek

Batasan

Hanya Akun Alibaba Cloud yang dapat membuat proyek, menambahkan anggota proyek, dan menambahkan resource kluster. Oleh karena itu, fitur Create Project, Users, dan Cluster Settings hanya terlihat oleh pemilik Akun Alibaba Cloud, bukan oleh Pengguna RAM.

Buat proyek

1. Buka halaman Projects di Data Platform.

   1. Masuk ke Konsol E-MapReduce menggunakan Akun Alibaba Cloud Anda.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
      

   3. Klik tab Data Development.

      Akun Alibaba Cloud dapat melihat semua proyek di bawah akun tersebut. Pengguna RAM hanya dapat melihat proyek yang memiliki izin pengembangan. Untuk memberikan izin ini, pemilik Akun Alibaba Cloud harus mengikuti langkah-langkah dalam Manajemen pengguna.

2. Di halaman Projects, klik Create Project di pojok kanan atas.

3. Di kotak dialog Create Project, masukkan Project Name dan Project Description, lalu pilih kelompok sumber daya yang sudah ada dari daftar Select Resource Group.

   Catatan

   Jika Anda tidak menentukan kelompok sumber daya, proyek akan ditambahkan ke kelompok sumber daya default. Untuk informasi selengkapnya tentang kelompok sumber daya, lihat Gunakan kelompok sumber daya.

4. Klik Create.

   Anda dapat melihat dan mengelola proyek baru tersebut di halaman Projects.

Informasi dasar proyek

1. Buka halaman Projects di Data Platform.

   1. Masuk ke Konsol E-MapReduce menggunakan Akun Alibaba Cloud Anda.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
      

   3. Klik tab Data Development.

2. Buka halaman manajemen proyek untuk proyek target.

   1. Di halaman Projects, klik ID proyek target.

   2. Klik tab Project Management.

3. Lihat informasi dasar proyek.

   Di halaman Basic Information, Anda dapat melihat nama proyek, waktu pembuatan, pembuat, dan deskripsi.

Konfigurasi umum

Mode keamanan mengontrol izin untuk pekerjaan yang dijalankan di Data Platform.

Setelah Anda mengaktifkan mode keamanan, Anda harus menambahkan pengguna EMR yang mengirimkan pekerjaan ke daftar pengguna pada kluster yang sedang berjalan. Untuk informasi selengkapnya, lihat Kelola pengguna. Saat Anda mengirimkan pekerjaan di proyek yang telah diaktifkan mode keamanannya, pekerjaan yang dikirimkan oleh Akun Alibaba Cloud akan dijalankan sebagai pengguna hadoop default, sedangkan pekerjaan yang dikirimkan oleh Pengguna RAM akan dijalankan sebagai pengguna EMR dengan nama yang sama dengan Pengguna RAM tersebut.

1. Buka halaman Projects di Data Platform.

   1. Masuk ke Konsol E-MapReduce menggunakan Akun Alibaba Cloud Anda.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
      

   3. Klik tab Data Development.

2. Buka halaman manajemen proyek untuk proyek target.

   1. Di halaman Projects, klik ID proyek target.

   2. Klik tab Project Management.

3. Konfigurasi mode keamanan.

   1. Di panel navigasi kiri, klik General Configuration.

   2. Berdasarkan kebutuhan pekerjaan Anda, aktifkan atau nonaktifkan mode keamanan.

      Penting

      Setelah Anda mengaktifkan mode keamanan, pekerjaan Shell dan Hive tidak dapat dijalankan.

Manajemen pengguna

Berikan atau cabut izin pengembangan Pengguna RAM pada suatu proyek.

1. Buka halaman Projects di Data Platform.

   1. Masuk ke Konsol E-MapReduce menggunakan Akun Alibaba Cloud Anda.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
      

   3. Klik tab Data Development.

2. Buka halaman manajemen proyek untuk proyek target.

   1. Di halaman Projects, klik ID proyek target.

   2. Klik tab Project Management.

3. Di panel navigasi kiri, klik Users.

4. Di halaman Users, tambahkan atau hapus pengguna.

   • Tambahkan pengguna.

     1. Di pojok kanan atas, klik Add User.

     2. Di kotak dialog Add User, pilih Pengguna RAM yang ingin Anda tambahkan, lalu klik Add.

        Setelah pengguna ditambahkan, Anda dapat melihat informasinya di halaman Users.

        Catatan

        Pengguna RAM yang ditambahkan menjadi anggota proyek dan dapat melihat serta mengembangkan pekerjaan dan alur kerja dalam proyek tersebut.

   • Hapus pengguna.

     Di halaman Users, temukan pengguna yang ingin Anda hapus, lalu klik Delete pada baris pengguna tersebut.

Pengaturan kluster

Kaitkan kluster dengan proyek agar pekerjaan dalam proyek tersebut dapat dijalankan di kluster tersebut.

1. Buka halaman Projects di Data Platform.

   1. Masuk ke Konsol E-MapReduce menggunakan Akun Alibaba Cloud Anda.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
      

   3. Klik tab Data Development.

2. Buka halaman manajemen proyek untuk proyek target.

   1. Di halaman Projects, klik ID proyek target.

   2. Klik tab Project Management.

3. Di panel navigasi kiri, klik Cluster Settings.

4. Di halaman Cluster Settings, Anda dapat melakukan operasi berikut:

   • Tambahkan kluster.

     1. Di pojok kanan atas, klik Add Cluster.

     2. Di kotak dialog Add Cluster, pilih kelompok sumber daya dan informasi kluster.

        Dari daftar drop-down Cluster, pilih kluster subscription atau pay-as-you-go. Kluster yang dibuat dari templat kluster tidak didukung.

     3. Klik OK.

        Kluster baru muncul di halaman Cluster Settings.

   • Ubah konfigurasi kluster.

     1. Temukan kluster target, lalu klik Modify Configuration pada baris kluster tersebut.

     2. Di kotak dialog Modify Configuration, konfigurasikan antrian, informasi pengguna, dan daftar putih client untuk pengiriman pekerjaan ke kluster ini.

        Parameter	Deskripsi
        Default job submission user	Pengguna default untuk mengirimkan pekerjaan dari proyek ke kluster yang dipilih. Nilai default: hadoop. Hanya satu pengguna default yang dapat diatur.
        Default job submission queue	Antrian default untuk mengirimkan pekerjaan dari proyek ke kluster yang dipilih. Nilai default: default.
        Job submission user whitelist	Pengguna yang diizinkan untuk mengirimkan pekerjaan. Pisahkan beberapa pengguna dengan koma (,).
        Job submission queue whitelist	Antrian pada kluster yang dipilih tempat pekerjaan dari proyek ini dapat dijalankan. Pisahkan beberapa antrian dengan koma (,).
        client whitelist	Client tempat pekerjaan dapat dikirimkan. Anda dapat menggunakan node master atau node gerbang. Gerbang yang dibuat sendiri pada Instance ECS tidak dapat dikonfigurasi di sini.

     3. Klik OK.

   • Lepaskan kaitan kluster.

     Di halaman Cluster Settings, temukan kluster target, lalu klik Delete pada baris kluster tersebut.

Definisi variabel

Definisikan variabel kustom tingkat proyek yang dapat dirujuk oleh pekerjaan dalam proyek sebagai variabel global.

1. Buka halaman Projects di Data Platform.

   1. Masuk ke Konsol E-MapReduce menggunakan Akun Alibaba Cloud Anda.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.
      

   3. Klik tab Data Development.

2. Buka halaman manajemen proyek untuk proyek target.

   1. Di halaman Projects, klik ID proyek target.

   2. Klik tab Project Management.

3. Di panel navigasi kiri, klik Variable Definition.

4. Di halaman Variable Definition, Anda dapat menambahkan atau menghapus variabel kustom.

   • Tambahkan variabel kustom.

     1. Di pojok kanan atas, klik Add.

     2. Di kotak dialog Add Custom Variable, masukkan Variable Name dan Variable Value. Untuk mengenkripsi nilai tersebut, pilih opsi Set as Password.

        Dalam pekerjaan, rujuk variabel menggunakan format ${VariableName}. Misalnya, jika Anda menambahkan variabel dengan nama ENV_ABC dan nilai 12345, serta tidak memilih Set as Password, konten pekerjaan Shell dapat seperti berikut.

        echo ${ENV_ABC}

        Output-nya adalah:

        12345

        Pengaturan ini setara dengan menjalankan skrip berikut.

        export ENV_ABC=12345

     3. Klik OK.

        Anda dapat melihat variabel baru tersebut di halaman Variable Definition.

   • Hapus variabel kustom.

     Temukan variabel target, lalu klik Delete pada baris variabel tersebut.