MaxCompute：Ikhtisar dataset publik

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

github_events

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Nama dan deskripsi tabel

Developer di GitHub menghasilkan volume besar event saat mengerjakan proyek open source. GitHub mencatat jenis dan detail setiap event, developer, serta repositori kode. Event publik, seperti memberi bintang pada repositori atau melakukan commit kode, tersedia untuk umum. Untuk informasi lebih lanjut tentang jenis event, lihat GitHub Events.

MaxCompute memproses dan mengembangkan volume besar data event publik dari GH Archive secara offline untuk menghasilkan tabel-tabel berikut:

• dwd_github_events_odps (tabel fakta untuk data event publik GitHub)

• dws_overview_by_repo_month (tabel agregasi untuk metrik bulanan event publik GitHub)

Siklus pembaruan

• dwd_github_events_odps: Diperbarui setiap jam T+1.

• dws_overview_by_repo_month: Diperbarui setiap hari T+1.

Kueri skema tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
-- Kueri skema tabel dwd_github_events_odps. Untuk mengkueri tabel lain, ganti nama skema dan nama tabel.
DESC bigdata_public_dataset.github_events.dwd_github_events_odps;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
-- Menampilkan peringkat proyek dengan jumlah bintang terbanyak dalam satu tahun terakhir. (Catatan: Contoh ini tidak mempertimbangkan kasus di mana pengguna membatalkan bintang.)
SELECT
    repo_id,
    repo_name,
    COUNT(actor_login) total
FROM
    bigdata_public_dataset.github_events.dwd_github_events_odps
WHERE
    ds>=date_add(getdate(), -365)
    AND type = 'WatchEvent'
GROUP BY
    repo_id,
    repo_name
ORDER BY
    total DESC
LIMIT 10;

Untuk informasi lebih lanjut tentang data dan contoh kueri, lihat Data event publik GitHub.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

national_data

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Nama dan deskripsi tabel

• annual_gdp_by_province (data PDB tahunan berdasarkan provinsi di Tiongkok)

• annual_gdp_by_country (data PDB tahunan berdasarkan negara)

Siklus pembaruan

Menyediakan data statis yang tidak diperbarui.

Kueri skema tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
-- Kueri skema tabel annual_gdp_by_province. Untuk mengkueri tabel lain, ganti nama skema dan nama tabel.
DESC bigdata_public_dataset.national_data.annual_gdp_by_province;

Contoh kueri

--Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
--Melihat tren PDB Beijing dalam 20 tahun terakhir.
SELECT
    region,
    gdp,
    year
FROM
    bigdata_public_dataset.national_data.annual_gdp_by_province
WHERE
    region='Beijing'
ORDER BY
    year ASC
LIMIT 20;

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

tpcds_10g, tpcds_100g, tpcds_1t, tpcds_10t

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Cloud Keuangan Tiongkok (Shanghai), Cloud Keuangan Tiongkok (Beijing) (Pratinjau Undangan), Alibaba Gov Cloud 1 Tiongkok (Beijing), Cloud Keuangan Tiongkok (Shenzhen)

Nama dan deskripsi tabel

Model TPC-DS mensimulasikan sistem penjualan rantai ritel besar berskala nasional. Model ini mencakup tiga saluran penjualan: toko (outlet fisik), web (online store), dan katalog (pesanan telepon). Setiap saluran menggunakan dua tabel untuk mensimulasikan catatan penjualan dan pengembalian. Model ini juga mencakup tabel dimensi untuk informasi tentang produk, promosi, dan pelanggan. Rinciannya sebagai berikut:

• call_center (informasi tentang pusat layanan pelanggan)

• catalog_page (informasi tentang katalog produk)

• catalog_returns (catatan pengembalian produk dari saluran pesanan telepon)

• catalog_sales (catatan penjualan produk dari saluran pesanan telepon)

• customer (informasi pelanggan)

• customer_address (informasi alamat pelanggan)

• customer_demographics (informasi dasar kredit pelanggan)

• date_dim (informasi dimensi waktu)

• household_demographics (informasi dasar kredit rumah tangga)

• income_band (informasi pendapatan)

• inventory (informasi gudang)

• item (informasi produk)

• promotion (informasi promosi produk)

• reason (alasan pengembalian pelanggan)

• ship_mode (informasi pengiriman produk)

• store (informasi pedagang)

• store_returns (catatan pengembalian produk dari saluran outlet fisik)

• store_sales (catatan penjualan produk dari saluran outlet fisik)

• time_dim (informasi dimensi waktu)

• warehouse (informasi gudang)

• web_page (informasi halaman web produk)

• web_returns (catatan pengembalian produk dari saluran web)

• web_sales (catatan penjualan produk dari saluran web)

• web_site (informasi dasar website produk)

Siklus pembaruan

Menyediakan data statis yang tidak diperbarui.

Kueri skema tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri skema tabel call_center di tpcds_10g. Untuk mengkueri tabel dalam spesifikasi dataset lain, ganti nama skema dan nama tabel.
DESC bigdata_public_dataset.tpcds_10g.call_center;

Contoh kueri

SET odps.namespace.schema=TRUE; 
SELECT dt.d_year ,
       item.i_brand_id brand_id ,
       item.i_brand brand ,
       SUM(ss_sales_price) sum_agg
FROM bigdata_public_dataset.tpcds_10g.date_dim dt ,
     bigdata_public_dataset.tpcds_10g.store_sales ,
     bigdata_public_dataset.tpcds_10g.item
WHERE dt.d_date_sk = store_sales.ss_sold_date_sk
  AND store_sales.ss_item_sk = item.i_item_sk
  AND item.i_manufact_id = 190
  AND dt.d_moy = 12
GROUP BY dt.d_year ,
         item.i_brand ,
         item.i_brand_id
ORDER BY dt.d_year,
         sum_agg DESC,
         brand_id LIMIT 100;

Untuk file contoh kueri dengan spesifikasi data berbeda, lihat Data TPC-DS.

Untuk informasi lebih lanjut tentang data, lihat spesifikasi standar resmi TPC Benchmark DS.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

tpch_10g, tpch_100g, tpch_1t, tpch_10t

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Cloud Keuangan Tiongkok (Shanghai), Cloud Keuangan Tiongkok (Beijing) (Pratinjau Undangan), Alibaba Gov Cloud 1 Tiongkok (Beijing), Cloud Keuangan Tiongkok (Shenzhen)

Nama dan deskripsi tabel

TPC-H adalah program benchmark yang digunakan untuk mengevaluasi Pemrosesan Analitik Online (OLAP). Program ini mensimulasikan transaksi antara pemasok dan pembeli mereka. Program ini berisi informasi tentang pesanan, produk, dan pelanggan. Rinciannya sebagai berikut:

• customer (informasi konsumen)

• lineitem (informasi produk online)

• nation (informasi negara)

• orders (informasi pesanan)

• part (informasi komponen)

• partsupp (informasi komponen pemasok)

• region (informasi wilayah)

• supplier (informasi pemasok)

Siklus pembaruan

Menyediakan data statis yang tidak diperbarui.

Kueri skema tabel

--Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
--Kueri skema tabel lineitem di tpch_10g. Untuk mengkueri tabel dalam spesifikasi dataset lain, ganti nama skema dan nama tabel.
DESC bigdata_public_dataset.tpch_10g.lineitem;

Contoh kueri

SET odps.namespace.schema=TRUE; 
SET odps.sql.validate.orderby.limit=FALSE;
SET odps.sql.hive.compatible=TRUE;
SELECT l_returnflag,
       l_linestatus,
       sum(l_quantity) AS sum_qty,
       sum(l_extendedprice) AS sum_base_price,
       sum(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
       sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
       avg(l_quantity) AS avg_qty,
       avg(l_extendedprice) AS avg_price,
       avg(l_discount) AS avg_disc,
       count(*) AS count_order
FROM bigdata_public_dataset.tpch_10g.lineitem
WHERE l_shipdate <= date'1998-12-01' - interval '90' DAY
GROUP BY l_returnflag,
         l_linestatus
ORDER BY l_returnflag,
         l_linestatus;

Untuk informasi lebih lanjut tentang data dan contoh kueri, lihat spesifikasi standar resmi TPC Benchmark H.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

tpcxbb_10g, tpcxbb_100g, tpcxbb_1t, tpcxbb_10t

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Cloud Keuangan Tiongkok (Shanghai), Cloud Keuangan Tiongkok (Beijing) (Pratinjau Undangan), Alibaba Gov Cloud 1 Tiongkok (Beijing), Cloud Keuangan Tiongkok (Shenzhen)

Nama dan deskripsi tabel

TPCx-BB adalah alat benchmark big data. Alat ini mensimulasikan skenario ritel online yang mencakup catatan penjualan dan pengembalian. Alat ini juga berisi informasi tentang produk dan promosi. Rinciannya sebagai berikut:

• customer (informasi pelanggan)

• customer_address (informasi alamat pelanggan)

• customer_demographics (informasi dasar kredit pelanggan)

• date_dim (informasi dimensi waktu)

• household_demographics (informasi dasar kredit rumah tangga)

• income_band (informasi pendapatan)

• inventory (informasi gudang)

• item (informasi produk)

• item_marketprices (informasi harga kompetitor untuk produk)

• product_reviews (informasi ulasan produk)

• promotion (informasi promosi produk)

• reason (alasan pengembalian pelanggan)

• ship_mode (informasi pengiriman produk)

• store (informasi outlet)

• store_returns (catatan pengembalian produk dari saluran outlet fisik)

• store_sales (catatan penjualan produk dari saluran outlet fisik)

• time_dim (informasi dimensi waktu)

• warehouse (informasi gudang)

• web_clickstreams (informasi aliran klik web)

• web_page (informasi halaman web produk)

• web_returns (catatan pengembalian produk dari saluran web)

• web_sales (catatan penjualan produk dari saluran web)

• web_site (informasi website produk)

Siklus pembaruan

Menyediakan data statis yang tidak diperbarui.

Kueri skema tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri skema tabel web_sales di tpcxbb_10g. Untuk mengkueri tabel dalam spesifikasi dataset lain, ganti nama skema dan nama tabel.
DESC bigdata_public_dataset.tpcxbb_10g.web_sales;

Contoh kueri

SET odps.namespace.schema=TRUE; 
SELECT * FROM bigdata_public_dataset.tpcxbb_10g.web_sales limit 100;

Untuk informasi lebih lanjut tentang data dan contoh kueri, lihat spesifikasi standar resmi TPCx-BB.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

commerce

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Nama dan deskripsi tabel

• adv_raw_sample (kerangka sampel mentah yang terdiri dari log klik iklan display dari lebih dari 1 juta pengguna yang diambil secara acak di Taobao selama 8 hari)

• adv_ad_feature (informasi dasar tentang beberapa iklan dalam tabel raw_sample)

• user_profile (informasi dasar tentang semua pengguna dalam raw_sample)

• behavior_log (perilaku belanja, seperti browsing, menambah ke keranjang, menyukai, dan membeli, dari semua pengguna dalam raw_sample selama 22 hari)

Siklus pembaruan

Menyediakan data statis. Pembaruan inkremental tidak lagi disediakan.

Kueri skema tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri skema tabel behavior_log. Untuk mengkueri tabel lain, ganti nama tabel.
DESC bigdata_public_dataset.commerce.behavior_log;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Menghitung tiga ID kategori produk teratas dengan penjualan tertinggi dalam 22 hari menggunakan behavior_log.
SELECT cate,
       count(btag) sales
FROM behavior_log
WHERE btag='buy'
GROUP BY cate
ORDER BY sales DESC LIMIT 3;

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

life_service

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Nama dan deskripsi tabel

• movie_basic_info (tabel informasi dasar film)

• movie_box (tabel informasi dasar box office)

• areacode_basic_info_2020 (tabel informasi dasar untuk kode pembagian administratif dan perkotaan/pedesaan tahun 2020)

• phoneno_basic_info_2020 (tabel informasi dasar untuk atribusi nomor ponsel tahun 2020)

Siklus pembaruan

• movie_basic_info, movie_box: Menyediakan data untuk partisi tanggal tetap. Pembaruan inkremental tidak lagi disediakan.

• areacode_basic_info_2020, phoneno_basic_info_2020: Menyediakan data statis. Pembaruan inkremental tidak lagi disediakan.

Kueri skema tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri skema tabel movie_box. Untuk mengkueri tabel lain, ganti nama tabel.
DESC bigdata_public_dataset.life_service.movie_box;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE;
-- Kueri nama 10 film teratas di box office pada 14 Januari 2017.
SELECT moviename
FROM bigdata_public_dataset.life_service.movie_box
WHERE ds ='20170114'
ORDER BY rank ASC LIMIT 10;

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

finance

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Nama dan deskripsi tabel

• ods_enterprise_share_basic (tabel informasi dasar saham)

• ods_enterprise_share_quarter_cashflow (laporan arus kas kuartalan)

• ods_enterprise_share_quarter_growth (tabel data pertumbuhan bisnis kuartalan)

• ods_enterprise_share_quarter_operation (tabel data perputaran keuangan kuartalan)

• ods_enterprise_share_quarter_profit (laporan laba kuartalan)

• ods_enterprise_share_quarter_report (laporan kuartalan)

• ods_enterprise_share_trade_h (tabel harga saham)

Siklus pembaruan

Menyediakan data untuk partisi tanggal tetap. Pembaruan inkremental tidak lagi disediakan.

Kueri skema tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri skema tabel ods_enterprise_share_basic. Untuk mengkueri tabel lain, ganti nama tabel.
DESC bigdata_public_dataset.finance.ods_enterprise_share_basic;

Contoh kueri

--Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE;
--Kueri data informasi dasar saham untuk 14 Januari 2017.
SELECT *
FROM bigdata_public_dataset.finance.ods_enterprise_share_basic
WHERE ds ='20170114' LIMIT 10;