MaxCompute:Public datasets

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

github_events

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu)

Tables et descriptions

Les développeurs sur GitHub génèrent un grand volume d'événements lorsqu'ils travaillent sur des projets open source. GitHub enregistre les détails de chaque événement, tels que le type d'événement, le développeur et le dépôt, et les publie en tant qu'événements publics. Parmi les exemples figurent l'ajout d'un dépôt aux favoris (starring) et la validation de code. Pour obtenir la liste des types d'événements, consultez la page GitHub Events.

MaxCompute traite les données d'événements publics provenant de GH Archive par lots pour générer les tables suivantes :

• dwd_github_events_odps (table de faits pour les données d'événements publics GitHub)

• dws_overview_by_repo_month (table agrégée pour les métriques mensuelles des événements publics GitHub)

Cycle de mise à jour

• dwd_github_events_odps : mise à jour horaire (T+1).

• dws_overview_by_repo_month : mise à jour quotidienne (T+1).

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- Query the structure of the dwd_github_events_odps table. To query other tables, replace the schema and table names.
DESC bigdata_public_dataset.github_events.dwd_github_events_odps;

Exemple de requête

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- This example counts the top-starred projects over the past year. Note that this query does not account for unstarring events.
SELECT
    repo_id,
    repo_name,
    COUNT(actor_login) total
FROM
    bigdata_public_dataset.github_events.dwd_github_events_odps
WHERE
    ds>=date_add(getdate(), -365)
    AND type = 'WatchEvent'
GROUP BY
    repo_id,
    repo_name
ORDER BY
    total DESC
LIMIT 10;

Pour plus d'informations et d'exemples de requêtes, consultez Données publiques d'événements GitHub.

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

national_data

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu)

Tables et descriptions

• annual_gdp_by_province (PIB annuel par province en Chine)

• annual_gdp_by_country (PIB annuel par pays dans le monde)

Cycle de mise à jour

Il s'agit d'un jeu de données statique qui n'est pas mis à jour.

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- Query the structure of the annual_gdp_by_province table. To query other tables, replace the schema and table names.
DESC bigdata_public_dataset.national_data.annual_gdp_by_province;

Exemple de requête

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- This example shows the GDP trend for Beijing over the past 20 years.
SELECT
    region,
    gdp,
    year
FROM
    bigdata_public_dataset.national_data.annual_gdp_by_province
WHERE
    region='Beijing'
ORDER BY
    year ASC
LIMIT 20;

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

tpcds_10g, tpcds_100g, tpcds_1t, tpcds_10t

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), États-Unis (Virginie), États-Unis (Silicon Valley), Royaume-Uni (Londres), Allemagne (Francfort), Émirats arabes unis (Dubaï), Chine (Shanghai) Finance, Chine (Beijing) Finance, Cloud gouvernemental Chine (Beijing), Chine (Shenzhen) Finance

Tables et descriptions

Le modèle TPC-DS simule le système de vente d'une grande chaîne de détail nationale disposant de trois canaux de vente : store (magasins physiques), web (boutiques en ligne) et catalog (commandes téléphoniques). Pour chaque canal, une paire de tables enregistre les ventes et les retours. Le jeu de données comprend également des tables de dimension pour les articles, les promotions, les clients et d'autres informations.

• call_center (données du centre d'appels)

• catalog_page (catalogue de produits)

• catalog_returns (enregistrements des retours de produits via le canal catalogue)

• catalog_sales (enregistrements des ventes de produits via le canal catalogue)

• customer (données clients)

• customer_address (données d'adresse des clients)

• customer_demographics (données démographiques de crédit des clients)

• date_dim (dimension de date)

• household_demographics (données démographiques de crédit des ménages)

• income_band (tranches de revenus)

• inventory (données d'inventaire)

• item (données sur les articles)

• promotion (promotions de produits)

• reason (motifs de retour)

• ship_mode (modes d'expédition)

• store (données des magasins)

• store_returns (enregistrements des retours de produits via le canal magasin)

• store_sales (enregistrements des ventes de produits via le canal magasin)

• time_dim (dimension de temps)

• warehouse (données d'entrepôt)

• web_page (données de pages web)

• web_returns (enregistrements des retours de produits via le canal web)

• web_sales (enregistrements des ventes de produits via le canal web)

• web_site (données de sites web)

Cycle de mise à jour

Il s'agit d'un jeu de données statique qui n'est pas mis à jour.

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the call_center table in the tpcds_10g schema. To query tables from other dataset sizes, replace the schema and table names.
DESC bigdata_public_dataset.tpcds_10g.call_center;

Exemple de requête

SET odps.namespace.schema=TRUE; 
SELECT dt.d_year ,
       item.i_brand_id brand_id ,
       item.i_brand brand ,
       SUM(ss_sales_price) sum_agg
FROM bigdata_public_dataset.tpcds_10g.date_dim dt ,
     bigdata_public_dataset.tpcds_10g.store_sales ,
     bigdata_public_dataset.tpcds_10g.item
WHERE dt.d_date_sk = store_sales.ss_sold_date_sk
  AND store_sales.ss_item_sk = item.i_item_sk
  AND item.i_manufact_id = 190
  AND dt.d_moy = 12
GROUP BY dt.d_year ,
         item.i_brand ,
         item.i_brand_id
ORDER BY dt.d_year,
         sum_agg DESC,
         brand_id LIMIT 100;

Pour des exemples de requêtes sur des jeux de données de différentes tailles, consultez Données TPC-DS.

Pour plus de détails sur les données, consultez la spécification officielle TPC Benchmark DS.

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

tpch_10g, tpch_100g, tpch_1t, tpch_10t

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), États-Unis (Virginie), États-Unis (Silicon Valley), Royaume-Uni (Londres), Allemagne (Francfort), Émirats arabes unis (Dubaï), Chine (Shanghai) Finance, Chine (Beijing) Finance, Cloud gouvernemental Chine (Beijing), Chine (Shenzhen) Finance

Tables et descriptions

TPC-H est un benchmark permettant d'évaluer les systèmes de traitement analytique en ligne (OLAP). Il simule les transactions entre fournisseurs et clients, et inclut des données telles que les commandes, les produits et les clients.

• customer (données clients)

• lineitem (données de lignes de commande)

• nation (données sur les nations)

• orders (données de commandes)

• part (données sur les pièces)

• partsupp (données sur les fournisseurs de pièces)

• region (données sur les régions)

• supplier (données fournisseurs)

Cycle de mise à jour

Il s'agit d'un jeu de données statique qui n'est pas mis à jour.

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the lineitem table in the tpch_10g schema. To query tables from other dataset sizes, replace the schema and table names.
DESC bigdata_public_dataset.tpch_10g.lineitem;

Exemple de requête

SET odps.namespace.schema=TRUE; 
SET odps.sql.validate.orderby.limit=FALSE;
SET odps.sql.hive.compatible=TRUE;
SELECT l_returnflag,
       l_linestatus,
       sum(l_quantity) AS sum_qty,
       sum(l_extendedprice) AS sum_base_price,
       sum(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
       sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
       avg(l_quantity) AS avg_qty,
       avg(l_extendedprice) AS avg_price,
       avg(l_discount) AS avg_disc,
       count(*) AS count_order
FROM bigdata_public_dataset.tpch_10g.lineitem
WHERE l_shipdate <= date'1998-12-01' - interval '90' DAY
GROUP BY l_returnflag,
         l_linestatus
ORDER BY l_returnflag,
         l_linestatus;

Pour plus d'informations et d'exemples de requêtes, consultez la spécification officielle TPC Benchmark H.

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

tpcxbb_10g, tpcxbb_100g, tpcxbb_1t, tpcxbb_10t

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Indonésie (Jakarta), États-Unis (Virginie), États-Unis (Silicon Valley), Royaume-Uni (Londres), Allemagne (Francfort), Émirats arabes unis (Dubaï), Chine (Shanghai) Finance, Chine (Beijing) Finance, Cloud gouvernemental Chine (Beijing), Chine (Shenzhen) Finance

Tables et descriptions

TPCx-BB est un benchmark de big data qui simule un scénario de vente au détail en ligne. Le jeu de données comprend des enregistrements de ventes et de retours, ainsi que des informations sur les articles et les promotions. Les tables sont les suivantes :

• customer (données clients)

• customer_address (données d'adresse des clients)

• customer_demographics (données démographiques de crédit des clients)

• date_dim (dimension de date)

• household_demographics (données démographiques de crédit des ménages)

• income_band (tranches de revenus)

• inventory (données d'inventaire)

• item (données sur les articles)

• item_marketprices (prix concurrents pour l'article)

• product_reviews (avis sur les produits)

• promotion (promotions de produits)

• reason (motifs de retour)

• ship_mode (modes d'expédition)

• store (données des magasins)

• store_returns (enregistrements des retours de produits via le canal magasin)

• store_sales (enregistrements des ventes de produits via le canal magasin)

• time_dim (dimension de temps)

• warehouse (données d'entrepôt)

• web_clickstreams (flux de clics web)

• web_page (données de pages web)

• web_returns (enregistrements des retours de produits via le canal web)

• web_sales (enregistrements des ventes de produits via le canal web)

• web_site (données de sites web)

Cycle de mise à jour

Il s'agit d'un jeu de données statique qui n'est pas mis à jour.

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the web_sales table in the tpcxbb_10g schema. To query tables from other dataset sizes, replace the schema and table names.
DESC bigdata_public_dataset.tpcxbb_10g.web_sales;

Exemple de requête

SET odps.namespace.schema=TRUE; 
SELECT * FROM bigdata_public_dataset.tpcxbb_10g.web_sales limit 100;

Pour plus d'informations et d'exemples de requêtes, consultez la spécification officielle TPCx-BB.

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

commerce

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu)

Tables et descriptions

• adv_raw_sample (échantillon brut des journaux d'impression et de clics d'annonces display provenant de plus d'un million d'utilisateurs Taobao sélectionnés aléatoirement sur une période de huit jours.)

• adv_ad_feature (informations de base sur certaines annonces de la table raw_sample)

• user_profile (informations de base sur tous les utilisateurs de la table raw_sample)

• behavior_log (comportement d'achat de tous les utilisateurs de raw_sample pendant 22 jours, incluant la navigation, l'ajout au panier, la mise en favori et l'achat)

Cycle de mise à jour

Il s'agit d'un jeu de données statique qui n'est pas mis à jour.

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the behavior_log table. To query other tables, replace the table name.
DESC bigdata_public_dataset.commerce.behavior_log;

Exemple de requête

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- This example uses the behavior_log table to count the top three best-selling product category IDs over a 22-day period.
SELECT cate,
       count(btag) sales
FROM behavior_log
WHERE btag='buy'
GROUP BY cate
ORDER BY sales DESC LIMIT 3;

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

life_service

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu)

Tables et descriptions

• movie_basic_info (informations de base sur les films)

• movie_box (informations de base sur le box-office)

• areacode_basic_info_2020 (codes de division administrative et urbaine-rurale de 2020)

• phoneno_basic_info_2020 (attribution des numéros de téléphone mobile de 2020)

Cycle de mise à jour

• movie_basic_info, movie_box : les données sont statiques et fournies dans des partitions basées sur la date.

• areacode_basic_info_2020, phoneno_basic_info_2020 : il s'agit de jeux de données statiques qui ne sont pas mis à jour.

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the movie_box table. To query other tables, replace the table name.
DESC bigdata_public_dataset.life_service.movie_box;

Exemple de requête

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE;
-- This example queries the top ten movies by box office rank on January 14, 2017.
SELECT moviename
FROM bigdata_public_dataset.life_service.movie_box
WHERE ds ='20170114'
ORDER BY rank ASC LIMIT 10;

Nom du projet

BIGDATA_PUBLIC_DATASET

Nom du schéma

finance

Régions disponibles

Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Zhangjiakou), Chine (Ulanqab), Chine (Shenzhen), Chine (Chengdu)

Tables et descriptions

• ods_enterprise_share_basic (informations de base sur les actions)

• ods_enterprise_share_quarter_cashflow (tableau des flux de trésorerie trimestriel)

• ods_enterprise_share_quarter_growth (données de croissance commerciale trimestrielles)

• ods_enterprise_share_quarter_operation (données de rotation financière trimestrielles)

• ods_enterprise_share_quarter_profit (compte de résultat trimestriel)

• ods_enterprise_share_quarter_report (rapport trimestriel)

• ods_enterprise_share_trade_h (cours des actions)

Cycle de mise à jour

Les données sont statiques et fournies dans des partitions basées sur la date.

Interroger la structure de la table

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the ods_enterprise_share_basic table. To query other tables, replace the table name.
DESC bigdata_public_dataset.finance.ods_enterprise_share_basic;

Exemple de requête

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE;
-- This example queries basic stock information for January 14, 2017.
SELECT *
FROM bigdata_public_dataset.finance.ods_enterprise_share_basic
WHERE ds ='20170114' LIMIT 10;