MaxCompute:Kueri partisi level-1 dengan PyODPS

Prosedur

1. Siapkan data uji.

   1. Buat tabel dan unggah data. Untuk instruksi lengkapnya, lihat Create a table and upload data.

      Struktur tabel dan informasi data sumber adalah sebagai berikut.

      • Pernyataan pembuatan tabel partisi user_detail adalah sebagai berikut.

        CREATE TABLE IF NOT EXISTS user_detail
        (
        userid    BIGINT COMMENT '用户id',
        job       STRING COMMENT '工作类型',
        education STRING COMMENT '教育程度'
        ) COMMENT '用户信息表'
        PARTITIONED BY (dt STRING COMMENT '日期',region STRING COMMENT '地区');

      • Pernyataan pembuatan tabel data sumber user_detail_ods adalah sebagai berikut.

        CREATE TABLE IF NOT EXISTS user_detail_ods
        (
          userid    BIGINT COMMENT '用户id',
          job       STRING COMMENT '工作类型',
          education STRING COMMENT '教育程度',
          dt STRING COMMENT '日期',
          region STRING COMMENT '地区'
        );

      • Data uji disimpan dalam file user_detail.txt. Unggah file ini ke tabel user_detail_ods.

        0001,互联网,本科,20190715,beijing
        0002,教育,大专,20190716,beijing
        0003,金融,硕士,20190715,shandong
        0004,互联网,硕士,20190715,beijing

   2. Tuliskan data dari tabel sumber user_detail_ods ke tabel partisi user_detail.

      1. Login ke Konsol DataWorks.

      2. Pada panel navigasi kiri, klik Workspace.

      3. Konfirmasi ruang kerja target, lalu pilih 快速进入 > Data Development pada kolom Actions.

      4. Klik kanan alur kerja, lalu pilih Create Node > ODPS SQL.

      5. Masukkan nama node, lalu klik OK.

      6. Masukkan kode berikut ke dalam node ODPS SQL.

         INSERT OVERWRITE TABLE user_detail PARTITION (dt, region) 
         SELECT userid, job, education, dt, region FROM user_detail_ods;

      7. Klik Run untuk menyelesaikan penulisan data.

2. Lakukan kueri terhadap partisi level-1 menggunakan PyODPS.

   1. Login ke Konsol DataWorks.

   2. Pada panel navigasi kiri, klik Workspace.

   3. Konfirmasi ruang kerja target, lalu pilih 快速进入 > Data Development pada kolom Actions.

   4. Pada halaman Data Development, klik kanan alur kerja yang telah dibuat, lalu pilih Create Node > PyODPS 2.

   5. Masukkan nama node, lalu klik OK.

   6. Masukkan kode berikut untuk melakukan kueri terhadap partisi level-1 dengan tiga cara: asinkron, sinkron, dan menggunakan DataFrame.

      import sys
      reload(sys)
      # Set the default system encoding to utf8.
      sys.setdefaultencoding('utf8')
      # Read the level-1 partition asynchronously.
      instance = o.run_sql('select * from user_detail WHERE dt=\'20190715\'')
      instance.wait_for_success()
      for record in instance.open_reader():
          print record["userid"],record["job"],record["education"]
      # Read the level-1 partition synchronously.
      with o.execute_sql('select * from user_detail WHERE dt=\'20190715\'').open_reader() as reader4:
          print reader4.raw
          for record in reader4:
              print record["userid"],record["job"],record["education"]
      # Use a PyODPS DataFrame to read the level-1 partition.
      pt_df = DataFrame(o.get_table('user_detail').get_partition('dt=20190715'))
      print pt_df.head(10)

   7. Klik Run.

   8. Lihat hasilnya di Runtime Log.

      4  Internet  master
      1  Internet  bachelor
      3  finance  master
      "userid","job","education","dt","region"
      4,"Internet","master","20190715","beijing"
      1,"Internet","bachelor","20190715","beijing"
      3,"finance","master","20190715","shandong"
      4  Internet  master
      1  Internet  bachelor
      3  finance  master
      Try to fetch data from tunnel
         userid      job education
      0       4  Internet    master
      1       1  Internet  bachelor
      2       3   finance    master