MaxCompute menyediakan sejumlah dataset publik yang dapat Anda kueri menggunakan SQL MaxCompute untuk menjelajahi layanan ini secara cepat. Halaman ini mencantumkan dataset yang tersedia serta cara mengkueri dan menganalisis datanya.
Pendahuluan
MaxCompute menyediakan dataset publik dalam beberapa kategori, termasuk data event publik GitHub, statistik nasional, data benchmark TPC, data perdagangan digital, data layanan gaya hidup, serta data keuangan dan saham. Semua dataset disimpan dalam skema berbeda di proyek publik BIGDATA_PUBLIC_DATASET.
|
Kategori |
Deskripsi |
Nama dataset |
Skema |
|
|
Data event publik GitHub |
Developer di GitHub menghasilkan sejumlah besar event saat mengerjakan proyek open-source. GitHub mencatat detail setiap event, termasuk jenisnya, developer yang bersangkutan, dan repositori terkait. Contoh event meliputi memberi bintang pada repositori dan melakukan commit kode. |
Dataset event publik GitHub |
github_events |
|
|
Statistik nasional |
Data PDB tahunan untuk negara-negara di seluruh dunia dan provinsi-provinsi di Tiongkok. |
Dataset statistik nasional |
national_data |
|
|
Data performa TPC |
TPC-DS |
TPC-DS adalah benchmark decision support yang memodelkan aspek-aspek utama seperti kueri dan pemeliharaan data, serta mengevaluasi performa teknologi baru seperti sistem big data. |
|
|
|
TPC-H |
TPC-H adalah benchmark decision support yang terdiri dari kueri ad hoc berorientasi bisnis dan modifikasi data konkuren, dirancang untuk menjalankan kueri kompleks pada dataset besar dan menjawab pertanyaan bisnis kritis. |
|
|
|
|
TPCx-BB |
TPCx-BB (TPC Express Benchmark BB) adalah benchmark big data yang mengukur performa sistem berbasis Hadoop dengan menjalankan 30 kueri analitik umum di seluruh komponen perangkat keras dan perangkat lunak. |
|
|
|
|
Perdagangan digital |
Data dari layanan seperti iklan Taobao, belanja Taobao, dan e-commerce Alibaba. |
Dataset perdagangan digital |
commerce |
|
|
Layanan gaya hidup |
Data mengenai properti bekas, film dan hasil box office, atribusi nomor ponsel, serta kode pembagian administratif dan perkotaan-pedesaan. |
Dataset layanan gaya hidup |
life_service |
|
|
Keuangan dan saham |
Informasi saham termasuk data dasar, laporan keuangan triwulanan, dan harga perdagangan. |
Dataset keuangan dan saham |
finance |
|
Penafian
-
Dataset publik MaxCompute hanya ditujukan untuk pengujian produk. Data tidak diperbarui secara berkala dan akurasinya tidak dijamin. Oleh karena itu, jangan gunakan data ini di lingkungan produksi.
-
Pembuatan dan analisis data TPC dalam dataset publik MaxCompute didasarkan pada benchmark TPC. Hasil pengujian ini tidak dapat dibandingkan dengan hasil benchmark TPC resmi karena tidak memenuhi semua persyaratan benchmark TPC.
-
Data uji performa TPC di MaxCompute berasal dari TPC. Anda juga dapat menghasilkan data TPC sendiri. Untuk detail tentang pembuatan data uji TPC, lihat dokumentasi resmi TPC.
Catatan
Dataset publik tersedia untuk semua pengguna MaxCompute. Saat mengkueri dataset ini, perhatikan hal-hal berikut:
Semua data dalam dataset publik disimpan di proyek
BIGDATA_PUBLIC_DATASET. Namun, Anda bukan anggota proyek ini. Oleh karena itu, Anda harus menggunakan akses lintas-proyek untuk mengambil data. Saat menulis skrip SQL, Anda harus menentukan nama proyek dan nama skema sebelum nama tabel. Selain itu, jika sintaks skema tingkat tenant dinonaktifkan, Anda harus mengaktifkan sintaks skema tingkat sesi agar perintah Anda berjalan dengan benar. Contoh perintah sebagai berikut:-- Aktifkan sintaks skema tingkat sesi SET odps.namespace.schema=true; -- Kueri 100 baris dari tabel dwd_github_events_odps SELECT * FROM bigdata_public_dataset.github_events.dwd_github_events_odps WHERE ds='2024-05-10' limit 100;PentingAnda tidak dikenai biaya penyimpanan untuk dataset publik, tetapi Anda akan dikenai biaya komputasi untuk kueri Anda. Untuk informasi lebih lanjut tentang penagihan, lihat Biaya komputasi (pay-as-you-go).
Karena dataset publik memerlukan akses lintas-proyek, Anda tidak dapat menemukan tabel dari dataset ini di Data Map DataWorks.
Proyek untuk dataset publik menggunakan skema. Jika sintaks skema tingkat tenant tidak diaktifkan untuk proyek Anda, Anda tidak dapat melihat dataset publik secara langsung di DataWorks DataAnalysis. Namun, Anda tetap dapat mengkueri data dengan menjalankan pernyataan SQL.
Detail tabel
Bagian berikut menjelaskan tabel-tabel dalam setiap skema proyek publik BIGDATA_PUBLIC_DATASET.
Data event publik GitHub
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
github_events |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu) |
|
Tabel dan deskripsi |
Developer di GitHub menghasilkan volume event yang besar saat mengerjakan proyek open-source. GitHub mencatat detail setiap event, seperti jenis event, developer, dan repositori, lalu mempublikasikannya sebagai event publik. Contohnya termasuk memberi bintang pada repositori dan melakukan commit kode. Untuk daftar jenis event, lihat GitHub Events. MaxCompute memproses data event publik dari GH Archive secara offline untuk menghasilkan tabel-tabel berikut:
Catatan
Data dalam tabel-tabel ini bersumber dari GH Archive. |
|
Siklus pembaruan |
|
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
|
Untuk informasi lebih lanjut dan contoh kueri, lihat Data Event Publik GitHub. |
|
Statistik nasional
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
national_data |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu) |
|
Tabel dan deskripsi |
Catatan
Data untuk tabel |
|
Siklus pembaruan |
Ini adalah dataset statis dan tidak diperbarui. |
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
Data TPC-DS
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
tpcds_10g, tpcds_100g, tpcds_1t, tpcds_10t |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Tiongkok (Shanghai) Finance, Tiongkok (Beijing) Finance, Tiongkok (Beijing) Government Cloud, Tiongkok (Shenzhen) Finance |
|
Tabel dan deskripsi |
Model TPC-DS mensimulasikan sistem penjualan rantai ritel nasional besar dengan tiga saluran penjualan:
Catatan
Data dalam tabel-tabel ini bersumber dari TPC. |
|
Siklus pembaruan |
Ini adalah dataset statis dan tidak diperbarui. |
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
|
Untuk contoh kueri pada dataset dengan ukuran berbeda, lihat Data TPC-DS. Untuk detail lebih lanjut tentang data, lihat spesifikasi resmi TPC Benchmark DS. |
|
Data TPC-H
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
tpch_10g, tpch_100g, tpch_1t, tpch_10t |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Tiongkok (Shanghai) Finance, Tiongkok (Beijing) Finance, Tiongkok (Beijing) Government Cloud, Tiongkok (Shenzhen) Finance |
|
Tabel dan deskripsi |
TPC-H adalah benchmark untuk mengevaluasi sistem online analytical processing (OLAP). Benchmark ini mensimulasikan transaksi antara pemasok dan pelanggan, serta mencakup data seperti pesanan, produk, dan pelanggan.
Catatan
Data dalam tabel-tabel ini bersumber dari TPC. |
|
Siklus pembaruan |
Ini adalah dataset statis dan tidak diperbarui. |
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
|
Untuk informasi lebih lanjut dan contoh kueri, lihat spesifikasi resmi TPC Benchmark H. |
|
Data TPCx-BB
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
tpcxbb_10g, tpcxbb_100g, tpcxbb_1t, tpcxbb_10t |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), AS (Virginia), AS (Silicon Valley), Inggris (London), Jerman (Frankfurt), UEA (Dubai), Tiongkok (Shanghai) Finance, Tiongkok (Beijing) Finance, Tiongkok (Beijing) Government Cloud, Tiongkok (Shenzhen) Finance |
|
Tabel dan deskripsi |
TPCx-BB adalah benchmark big data yang mensimulasikan skenario ritel online. Dataset ini mencakup catatan penjualan dan pengembalian, serta informasi item dan promosi. Tabel-tabelnya sebagai berikut:
Catatan
Data dalam tabel-tabel ini bersumber dari TPC. |
|
Siklus pembaruan |
Ini adalah dataset statis dan tidak diperbarui. |
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
|
Untuk informasi lebih lanjut dan contoh kueri, lihat spesifikasi resmi TPCx-BB. |
|
Dataset perdagangan digital
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
commerce |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu) |
|
Tabel dan deskripsi |
Catatan
Data dalam tabel-tabel ini berasal dari Tianchi Lab - Dataset Prediksi Click-Through Rate (CTR) Iklan Display Taobao. |
|
Siklus pembaruan |
Ini adalah dataset statis dan tidak diperbarui. |
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
Dataset layanan gaya hidup
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
life_service |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu) |
|
Tabel dan deskripsi |
|
|
Siklus pembaruan |
|
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
Dataset keuangan dan saham
|
Nama proyek |
BIGDATA_PUBLIC_DATASET |
|
Nama skema |
finance |
|
Wilayah yang tersedia |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu) |
|
Tabel dan deskripsi |
|
|
Siklus pembaruan |
Data bersifat statis, disediakan dalam partisi berbasis tanggal. |
|
Kueri struktur tabel |
|
|
Contoh kueri |
|
Kueri dataset publik
Prasyarat
Anda telah mengaktifkan MaxCompute dan membuat proyek. Untuk informasi lebih lanjut, lihat Membuat proyek MaxCompute.
Alat yang didukung
Prosedur (Contoh: Node Pengembangan Data DataWorks)
-
Login ke Konsol DataWorks dan pilih wilayah di pojok kiri atas.
-
Buat node ODPS SQL dan masukkan contoh SQL berikut.
-- Lihat tren PDB provinsi di Tiongkok selama 20 tahun terakhir. SET odps.namespace.schema=true; SET odps.sql.validate.orderby.limit = false; SELECT region, gdp, year FROM bigdata_public_dataset.national_data.annual_gdp_by_province ORDER BY year ASC; -
Klik
untuk melihat hasil.Di editor SQL, masukkan kueri berikut:
SELECT region, gdp, year FROM bigdata_public_dataset.national_data.annual_gdp_by_province ORDER BY year ASC;, lalu klik Run untuk mengeksekusi kueri. Tabel hasil berisi tiga kolom: region (provinsi), gdp (nilai PDB), dan year (tahun), yang menampilkan data PDB setiap provinsi untuk setiap tahun.
Topik terkait
Untuk informasi lebih lanjut tentang mengekspor data dari MaxCompute, lihat topik-topik berikut: