E-MapReduce:Konfigurasi pekerjaan Spark SQL

Prosedur

1. Buka halaman Projects di Data Platform.

   1. Masuk ke Konsol E-MapReduce menggunakan Akun Alibaba Cloud Anda.

   2. Pada bilah navigasi atas, pilih Wilayah dan kelompok sumber daya.
      

   3. Klik tab Data Development.

2. Pada baris Proyek yang ingin Anda edit, klik Edit Job.

3. Buat pekerjaan Spark SQL.
   1. Di sisi kiri halaman, klik kanan folder target dan pilih Create Job.
   2. Pada kotak dialog Create Job, masukkan Job Name dan Description. Dari daftar drop-down Job Type, pilih Spark SQL.
      Catatan Secara default, platform mengirimkan pekerjaan Spark SQL dalam mode yarn-client.

      Platform mengirimkan jenis pekerjaan ini dengan perintah berikut:

      spark-sql [options] [cli options] {SQL_CONTENT}                

      Tabel berikut menjelaskan parameter-parameter tersebut.

      Parameter	Description
      options	Pada tab Advanced Settings panel Job Settings, klik ikon pada baris Environment Variable untuk menambahkan variabel lingkungan SPARK_CLI_PARAMS. Contoh: SPARK_CLI_PARAMS="--executor-memory 1g --executor-cores".
      cli options	Contoh: -e <quoted-query-string> : menjalankan string kueri SQL dalam tanda kutip. -f <filename>: menjalankan pernyataan SQL dalam file yang ditentukan.
      SQL_CONTENT	Pernyataan SQL yang Anda masukkan.

   3. Klik OK.
4. Edit konten pekerjaan.
   1. Pada bidang Content, masukkan pernyataan Spark SQL.
      Contoh:

      -- Contoh pernyataan SQL.
      -- Pernyataan SQL tidak boleh melebihi 64 KB.
      show databases;
      show tables;
      -- Sistem secara otomatis menambahkan 'limit 2000' ke pernyataan SELECT.
      select * from test1;

   2. Klik Save.