PyODPS查看一级分区

本文为您介绍如何在PyODPS中查看一级分区。

1. 准备测试数据。
   1. 创建表并上传数据。操作方法请参见建表并上传数据。
      表结构以及源数据信息如下。

      • 分区表user_detail建表语句如下。

        create table if not exists user_detail
        (
        userid    BIGINT comment '用户id',
        job       STRING comment '工作类型',
        education STRING comment '教育程度'
        ) comment '用户信息表'
        partitioned by (dt STRING comment '日期',region STRING comment '地区');

      • 源数据表user_detail_ods建表语句如下。

        create table if not exists user_detail_ods
        (
          userid    BIGINT comment '用户id',
          job       STRING comment '工作类型',
          education STRING comment '教育程度',
          dt STRING comment '日期',
          region STRING comment '地区'
        );

      • 测试数据保存为user_detail.txt文件。将此文件上传至表user_detail_ods中。

        0001,互联网,本科,20190715,beijing
        0002,教育,大专,20190716,beijing
        0003,金融,硕士,20190715,shandong
        0004,互联网,硕士,20190715,beijing

   2. 右键单击业务流程，选择新建 > ODPS SQL。
   3. 输入节点名称，并单击提交。
   4. 在ODPS SQL节点中输入如下代码。

      insert overwrite table user_detail partition (dt,region)
      select userid,job,education,dt,region from user_detail_ods;

   5. 单击运行，将数据插入到分区表user_detail中。
2. 使用PyODPS查看一级分区。
   1. 登录DataWorks控制台。
   2. 在左侧导航栏上单击工作空间列表。
   3. 单击工作空间后的进入数据开发。
   4. 在数据开发页面，右键单击已经创建的业务流程，选择新建 > MaxCompute > PyODPS 2。
   5. 输入节点名称，单击提交。
   6. 在PyODPS 2节点中输入如下代码查看一级分区数据。

      import sys
      reload(sys)
      #修改系统默认编码。
      sys.setdefaultencoding('utf8')
      
      #异步方式读取一级分区。
      instance = o.run_sql('select * from user_detail WHERE dt=\'20190715\'')
      instance.wait_for_success()
      for record in instance.open_reader():
          print record["userid"],record["job"],record["education"]
      
      #同步方式读取一级分区。
      with o.execute_sql('select * from user_detail WHERE dt=\'20190715\'').open_reader() as reader4:
          print reader4.raw
          for record in reader4:
              print record["userid"],record["job"],record["education"]
      
      #使用ODPS的DataFrame获取一级分区。
      pt_df = DataFrame(o.get_table('user_detail').get_partition('dt=20190715'))
      print pt_df.head(10)

   7. 单击运行按钮。
      
   8. 在运行日志中查看运行结果。