MaxCompute:Dataset publik

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

github_events

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Tabel dan deskripsi

Developer di GitHub menghasilkan volume event yang besar saat mengerjakan proyek open-source. GitHub mencatat detail setiap event, seperti jenis event, developer, dan repositori, lalu memublikasikan event-event tersebut. Event publik ini mencakup pemberian bintang pada repositori dan commit kode. Untuk daftar jenis event, lihat GitHub Events.

MaxCompute memproses data event publik dari GH Archive secara offline untuk menghasilkan tabel-tabel berikut:

• dwd_github_events_odps (tabel fakta untuk data event publik GitHub)

• dws_overview_by_repo_month (tabel agregat untuk metrik bulanan event publik GitHub)

Siklus pembaruan

• dwd_github_events_odps: Diperbarui setiap jam (T+1).

• dws_overview_by_repo_month: Diperbarui setiap hari (T+1).

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
-- Kueri struktur tabel dwd_github_events_odps. Untuk mengkueri tabel lain, ganti nama skema dan tabel.
DESC bigdata_public_dataset.github_events.dwd_github_events_odps;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
-- Contoh ini menghitung proyek dengan jumlah bintang terbanyak selama satu tahun terakhir. Perhatikan bahwa kueri ini tidak memperhitungkan event pencabutan bintang.
SELECT
    repo_id,
    repo_name,
    COUNT(actor_login) total
FROM
    bigdata_public_dataset.github_events.dwd_github_events_odps
WHERE
    ds>=date_add(getdate(), -365)
    AND type = 'WatchEvent'
GROUP BY
    repo_id,
    repo_name
ORDER BY
    total DESC
LIMIT 10;

Untuk informasi lebih lanjut dan contoh kueri, lihat Data Event Publik GitHub.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

national_data

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Tabel dan deskripsi

• annual_gdp_by_province (PDB tahunan berdasarkan provinsi di Tiongkok)

• annual_gdp_by_country (PDB tahunan berdasarkan negara di seluruh dunia)

Siklus pembaruan

Ini adalah dataset statis dan tidak diperbarui.

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
-- Kueri struktur tabel annual_gdp_by_province. Untuk mengkueri tabel lain, ganti nama skema dan tabel.
DESC bigdata_public_dataset.national_data.annual_gdp_by_province;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=true; 
-- Contoh ini menampilkan tren PDB Beijing selama 20 tahun terakhir.
SELECT
    region,
    gdp,
    year
FROM
    bigdata_public_dataset.national_data.annual_gdp_by_province
WHERE
    region='北京市'
ORDER BY
    year ASC
LIMIT 20;

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

tpcds_10g, tpcds_100g, tpcds_1t, tpcds_10t

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Tiongkok (Shanghai) Finance, Tiongkok (Beijing) Finance, Tiongkok (Beijing) Government Cloud, Tiongkok (Shenzhen) Finance

Tabel dan deskripsi

Model TPC-DS mensimulasikan sistem penjualan rantai ritel nasional besar dengan tiga saluran penjualan: store (toko fisik), web (online store), dan catalog (pesanan telepon). Untuk setiap saluran, sepasang tabel mencatat penjualan dan pengembalian. Dataset ini juga mencakup tabel dimensi untuk item, promosi, pelanggan, dan informasi lainnya.

• call_center (data call center)

• catalog_page (katalog produk)

• catalog_returns (catatan pengembalian produk dari saluran catalog)

• catalog_sales (catatan penjualan produk dari saluran catalog)

• customer (data pelanggan)

• customer_address (data alamat pelanggan)

• customer_demographics (demografi kredit pelanggan)

• date_dim (dimensi tanggal)

• household_demographics (demografi kredit rumah tangga)

• income_band (rentang pendapatan)

• inventory (data inventaris)

• item (data item)

• promotion (promosi produk)

• reason (alasan pengembalian)

• ship_mode (mode pengiriman)

• Menyimpan (menyimpan data)

• store_returns (catatan pengembalian produk dari saluran store)

• store_sales (catatan penjualan produk dari saluran store)

• time_dim (dimensi waktu)

• warehouse (data gudang)

• web_page (data halaman web)

• web_returns (catatan pengembalian produk dari saluran web)

• web_sales (catatan penjualan produk dari saluran web)

• web_site (data website)

Siklus pembaruan

Ini adalah dataset statis dan tidak diperbarui.

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri struktur tabel call_center dalam skema tpcds_10g. Untuk mengkueri tabel dari ukuran dataset lain, ganti nama skema dan tabel.
DESC bigdata_public_dataset.tpcds_10g.call_center;

Contoh kueri

SET odps.namespace.schema=TRUE; 
SELECT dt.d_year ,
       item.i_brand_id brand_id ,
       item.i_brand brand ,
       SUM(ss_sales_price) sum_agg
FROM bigdata_public_dataset.tpcds_10g.date_dim dt ,
     bigdata_public_dataset.tpcds_10g.store_sales ,
     bigdata_public_dataset.tpcds_10g.item
WHERE dt.d_date_sk = store_sales.ss_sold_date_sk
  AND store_sales.ss_item_sk = item.i_item_sk
  AND item.i_manufact_id = 190
  AND dt.d_moy = 12
GROUP BY dt.d_year ,
         item.i_brand ,
         item.i_brand_id
ORDER BY dt.d_year,
         sum_agg DESC,
         brand_id LIMIT 100;

Untuk contoh kueri pada dataset berbagai ukuran, lihat Data TPC-DS.

Untuk detail lebih lanjut tentang data, lihat spesifikasi resmi TPC Benchmark DS.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

tpch_10g, tpch_100g, tpch_1t, tpch_10t

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Tiongkok (Shanghai) Finance, Tiongkok (Beijing) Finance, Tiongkok (Beijing) Government Cloud, Tiongkok (Shenzhen) Finance

Tabel dan deskripsi

TPC-H adalah benchmark untuk mengevaluasi sistem OLAP (online analytical processing). Benchmark ini mensimulasikan transaksi antara pemasok dan pelanggan, serta mencakup data seperti pesanan, produk, dan pelanggan.

• customer (data pelanggan)

• lineitem (data line item)

• nation (data negara)

• orders (data pesanan)

• part (data part)

• partsupp (data pemasok part)

• region (data wilayah)

• supplier (data pemasok)

Siklus pembaruan

Ini adalah dataset statis dan tidak diperbarui.

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri struktur tabel lineitem dalam skema tpch_10g. Untuk mengkueri tabel dari ukuran dataset lain, ganti nama skema dan tabel.
DESC bigdata_public_dataset.tpch_10g.lineitem;

Contoh kueri

SET odps.namespace.schema=TRUE; 
SET odps.sql.validate.orderby.limit=FALSE;
SET odps.sql.hive.compatible=TRUE;
SELECT l_returnflag,
       l_linestatus,
       sum(l_quantity) AS sum_qty,
       sum(l_extendedprice) AS sum_base_price,
       sum(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
       sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
       avg(l_quantity) AS avg_qty,
       avg(l_extendedprice) AS avg_price,
       avg(l_discount) AS avg_disc,
       count(*) AS count_order
FROM bigdata_public_dataset.tpch_10g.lineitem
WHERE l_shipdate <= date'1998-12-01' - interval '90' DAY
GROUP BY l_returnflag,
         l_linestatus
ORDER BY l_returnflag,
         l_linestatus;

Untuk informasi lebih lanjut dan contoh kueri, lihat spesifikasi resmi TPC Benchmark H.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

tpcxbb_10g, tpcxbb_100g, tpcxbb_1t, tpcxbb_10t

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Tiongkok (Shanghai) Finance, Tiongkok (Beijing) Finance, Tiongkok (Beijing) Government Cloud, Tiongkok (Shenzhen) Finance

Tabel dan deskripsi

TPCx-BB adalah benchmark big data yang mensimulasikan skenario ritel online. Dataset ini mencakup catatan penjualan dan pengembalian, serta informasi item dan promosi. Tabel-tabelnya sebagai berikut:

• customer (data pelanggan)

• customer_address (data alamat pelanggan)

• customer_demographics (demografi kredit pelanggan)

• date_dim (dimensi tanggal)

• household_demographics (demografi kredit rumah tangga)

• income_band (rentang pendapatan)

• inventory (data inventaris)

• item (data item)

• item_marketprices (Harga kompetitor untuk item tersebut)

• product_reviews (ulasan produk)

• promotion (promosi produk)

• reason (alasan pengembalian)

• ship_mode (mode pengiriman)

• store (menyimpan data)

• store_returns (catatan pengembalian produk dari saluran store)

• store_sales (catatan penjualan produk dari saluran store)

• time_dim (dimensi waktu)

• warehouse (data gudang)

• web_clickstreams (aliran klik web)

• web_page (data halaman web)

• web_returns (catatan pengembalian produk dari saluran web)

• web_sales (catatan penjualan produk dari saluran web)

• web_site (data website)

Siklus pembaruan

Ini adalah dataset statis dan tidak diperbarui.

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri struktur tabel web_sales dalam skema tpcxbb_10g. Untuk mengkueri tabel dari ukuran dataset lain, ganti nama skema dan tabel.
DESC bigdata_public_dataset.tpcxbb_10g.web_sales;

Contoh kueri

SET odps.namespace.schema=TRUE; 
SELECT * FROM bigdata_public_dataset.tpcxbb_10g.web_sales limit 100;

Untuk informasi lebih lanjut dan contoh kueri, lihat spesifikasi resmi TPCx-BB.

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

commerce

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Tabel dan deskripsi

• adv_raw_sample (sampel mentah log impresi dan klik iklan display dari lebih dari satu juta pengguna Taobao yang dipilih secara acak selama periode delapan hari.)

• adv_ad_feature (informasi dasar tentang beberapa iklan dalam tabel raw_sample)

• user_profile (informasi dasar tentang semua pengguna dalam tabel raw_sample)

• behavior_log (perilaku belanja semua pengguna dalam raw_sample selama 22 hari, termasuk browsing, menambah ke keranjang, favorit, dan pembelian)

Siklus pembaruan

Ini adalah dataset statis dan tidak diperbarui.

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri struktur tabel behavior_log. Untuk mengkueri tabel lain, ganti nama tabel.
DESC bigdata_public_dataset.commerce.behavior_log;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Contoh ini menggunakan tabel behavior_log untuk menghitung tiga ID kategori produk terlaris selama periode 22 hari.
SELECT cate,
       count(btag) sales
FROM behavior_log
WHERE btag='buy'
GROUP BY cate
ORDER BY sales DESC LIMIT 3;

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

life_service

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Tabel dan deskripsi

• movie_basic_info (informasi dasar film)

• movie_box (informasi dasar box office)

• areacode_basic_info_2020 (kode pembagian administratif dan perkotaan-pedesaan tahun 2020)

• phoneno_basic_info_2020 (atribusi nomor ponsel tahun 2020)

Siklus pembaruan

• movie_basic_info, movie_box: Data bersifat statis, disediakan dalam partisi berbasis tanggal.

• areacode_basic_info_2020, phoneno_basic_info_2020: Ini adalah dataset statis dan tidak diperbarui.

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri struktur tabel movie_box. Untuk mengkueri tabel lain, ganti nama tabel.
DESC bigdata_public_dataset.life_service.movie_box;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE;
-- Contoh ini mengkueri sepuluh film teratas berdasarkan peringkat box office pada 14 Januari 2017.
SELECT moviename
FROM bigdata_public_dataset.life_service.movie_box
WHERE ds ='20170114'
ORDER BY rank ASC LIMIT 10;

Nama proyek

BIGDATA_PUBLIC_DATASET

Nama skema

finance

Wilayah yang tersedia

Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu)

Tabel dan deskripsi

• ods_enterprise_share_basic (informasi dasar saham)

• ods_enterprise_share_quarter_cashflow (laporan arus kas kuartalan)

• ods_enterprise_share_quarter_growth (data pertumbuhan bisnis kuartalan)

• ods_enterprise_share_quarter_operation (data perputaran keuangan kuartalan)

• ods_enterprise_share_quarter_profit (laporan laba kuartalan)

• ods_enterprise_share_quarter_report (laporan kuartalan)

• ods_enterprise_share_trade_h (harga saham)

Siklus pembaruan

Data bersifat statis, disediakan dalam partisi berbasis tanggal.

Kueri struktur tabel

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE; 
-- Kueri struktur tabel ods_enterprise_share_basic. Untuk mengkueri tabel lain, ganti nama tabel.
DESC bigdata_public_dataset.finance.ods_enterprise_share_basic;

Contoh kueri

-- Aktifkan sintaks skema tingkat sesi.
SET odps.namespace.schema=TRUE;
-- Contoh ini mengkueri informasi dasar saham untuk tanggal 14 Januari 2017.
SELECT *
FROM bigdata_public_dataset.finance.ods_enterprise_share_basic
WHERE ds ='20170114' LIMIT 10;