MaxCompute：Gunakan node PyODPS untuk mengoper parameter

Prosedur

1. Siapkan data uji.

   1. Buat tabel dan unggah data. Untuk informasi lebih lanjut, lihat Buat tabel dan unggah data.

      Dalam contoh ini, gunakan pernyataan pembuatan tabel dan data sumber berikut:

      • Pernyataan berikut membuat tabel terpartisi user_detail:

        CREATE TABLE IF NOT EXISTS user_detail
        (
        userid    BIGINT COMMENT 'User ID',
        job       STRING COMMENT 'Job type',
        education STRING COMMENT 'Education level'
        ) COMMENT 'User information table'
        PARTITIONED BY (dt STRING COMMENT 'Date',region STRING COMMENT 'Region');

      • Pernyataan berikut membuat tabel data sumber user_detail_ods:

        CREATE TABLE IF NOT EXISTS user_detail_ods
        (
          userid    BIGINT COMMENT 'User ID',
          job       STRING COMMENT 'Job type',
          education STRING COMMENT 'Education level',
          dt STRING COMMENT 'Date',
          region STRING COMMENT 'Region'
        );

      • Simpan data uji sebagai file user_detail.txt. Unggah file ini ke tabel user_detail_ods:

        0001,Internet,Bachelor,20190715,beijing
        0002,Education,junior college,20190716,beijing
        0003,Finance,master,20190715,shandong
        0004,Internet,master,20190715,beijing

   2. Tulis data dari tabel data sumber user_detail_ods ke tabel terpartisi user_detail.

      1. Masuk ke Konsol DataWorks.

      2. Di panel navigasi sebelah kiri, klik Workspace.

      3. Temukan ruang kerja target, pilih Shorcuts > Data Development di kolom Actions.

      4. Klik kanan alur bisnis dan pilih Create Node > ODPS SQL.

      5. Masukkan nama node dan klik Confirm.

      6. Masukkan kode berikut di node ODPS SQL:

         INSERT OVERWRITE TABLE user_detail PARTITION (dt, region) 
         SELECT userid, job, education, dt, region FROM user_detail_ods;

      7. Klik Run untuk menyelesaikan penulisan data.

2. Gunakan PyODPS untuk mengoper parameter.

   1. Masuk ke Konsol DataWorks.

   2. Di panel navigasi sebelah kiri, klik Workspace.

   3. Temukan ruang kerja target, pilih Shorcuts > Data Development di kolom Actions.

   4. Di halaman Data Development, klik kanan alur bisnis yang telah dibuat dan pilih Create Node > PyODPS 2.

   5. Masukkan nama node dan klik Confirm.

   6. Masukkan kode berikut di node PyODPS 2 untuk mengoper parameter:

      import sys
      reload(sys)
      print('dt=' + args['dt'])
      # Ubah format pengkodean default menjadi UTF-8.
      sys.setdefaultencoding('utf8')
      # Dapatkan tabel user_detail.
      t = o.get_table('user_detail')
      # Terima bidang partisi yang dikirim.
      with t.open_reader(partition='dt=' + args['dt'] + ',region=beijing') as reader1:
          count = reader1.count
      print("Query data dalam tabel terpartisi:")
      for record in reader1:
          print record[0],record[1],record[2]

   7. Klik Run with Parameters.

   8. Di kotak dialog Parameters, konfigurasikan parameter dan klik Run.

      Konfigurasikan parameter berikut:

      • Resource Group Name: Pilih Default Resource Group.

      • dt: Atur ke dt=20190715.

      

   9. Lihat hasil operasi di Operation Log.