MaxCompute:Public datasets

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

github_events

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu)

Tablas y descripciones

Los desarrolladores de GitHub generan un gran volumen de eventos cuando trabajan en proyectos de código abierto. GitHub registra los detalles de cada evento, como el tipo de evento, el desarrollador y el repositorio, y los publica como eventos públicos. Algunos ejemplos son marcar un repositorio con una estrella o confirmar código. Para consultar la lista de tipos de eventos, consulte GitHub Events.

MaxCompute procesa sin conexión los datos de eventos públicos de GH Archive para generar a continuación las siguientes tablas:

• dwd_github_events_odps (tabla de hechos de los datos de eventos públicos de GitHub)

• dws_overview_by_repo_month (tabla agregada con las métricas mensuales de los eventos públicos de GitHub)

Ciclo de actualización

• dwd_github_events_odps: se actualiza cada hora (T+1).

• dws_overview_by_repo_month: se actualiza diariamente (T+1).

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- Query the structure of the dwd_github_events_odps table. To query other tables, replace the schema and table names.
DESC bigdata_public_dataset.github_events.dwd_github_events_odps;

Ejemplo de consulta

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- This example counts the top-starred projects over the past year. Note that this query does not account for unstarring events.
SELECT
    repo_id,
    repo_name,
    COUNT(actor_login) total
FROM
    bigdata_public_dataset.github_events.dwd_github_events_odps
WHERE
    ds>=date_add(getdate(), -365)
    AND type = 'WatchEvent'
GROUP BY
    repo_id,
    repo_name
ORDER BY
    total DESC
LIMIT 10;

Para obtener más información y ejemplos de consultas, consulte GitHub Public Event Data.

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

national_data

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu)

Tablas y descripciones

• annual_gdp_by_province (PIB anual por provincia en China)

• annual_gdp_by_country (PIB anual por país a nivel mundial)

Ciclo de actualización

Este conjunto de datos es estático y no se actualiza.

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- Query the structure of the annual_gdp_by_province table. To query other tables, replace the schema and table names.
DESC bigdata_public_dataset.national_data.annual_gdp_by_province;

Ejemplo de consulta

-- Enable session-level schema syntax.
SET odps.namespace.schema=true; 
-- This example shows the GDP trend for Beijing over the past 20 years.
SELECT
    region,
    gdp,
    year
FROM
    bigdata_public_dataset.national_data.annual_gdp_by_province
WHERE
    region='Beijing'
ORDER BY
    year ASC
LIMIT 20;

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

tpcds_10g, tpcds_100g, tpcds_1t, tpcds_10t

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), US (Virginia), US (Silicon Valley), UK (London), Germany (Frankfurt), UAE (Dubai), China (Shanghai) Finance, China (Beijing) Finance, China (Beijing) Government Cloud, China (Shenzhen) Finance

Tablas y descripciones

El modelo TPC-DS simula el sistema de ventas de una gran cadena minorista nacional con tres canales de venta: store (tiendas físicas), web (tiendas en línea) y catalog (pedidos telefónicos). Cada canal cuenta con un par de tablas que registran las ventas y las devoluciones. El conjunto de datos también incluye tablas de dimensiones para artículos, promociones, clientes y otra información.

• call_center (datos del centro de llamadas)

• catalog_page (catálogo de productos)

• catalog_returns (registros de devoluciones de productos del canal de catálogo)

• catalog_sales (registros de ventas de productos del canal de catálogo)

• customer (datos de clientes)

• customer_address (datos de direcciones de clientes)

• customer_demographics (datos demográficos crediticios de clientes)

• date_dim (dimensión de fecha)

• household_demographics (datos demográficos crediticios de hogares)

• income_band (rangos de ingresos)

• inventory (datos de inventario)

• item (datos de artículos)

• promotion (promociones de productos)

• reason (motivos de devolución)

• ship_mode (modos de envío)

• store (datos de tiendas)

• store_returns (registros de devoluciones de productos del canal de tienda)

• store_sales (registros de ventas de productos del canal de tienda)

• time_dim (dimensión de tiempo)

• warehouse (datos de almacenes)

• web_page (datos de páginas web)

• web_returns (registros de devoluciones de productos del canal web)

• web_sales (registros de ventas de productos del canal web)

• web_site (datos de sitios web)

Ciclo de actualización

Este conjunto de datos es estático y no se actualiza.

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the call_center table in the tpcds_10g schema. To query tables from other dataset sizes, replace the schema and table names.
DESC bigdata_public_dataset.tpcds_10g.call_center;

Ejemplo de consulta

SET odps.namespace.schema=TRUE; 
SELECT dt.d_year ,
       item.i_brand_id brand_id ,
       item.i_brand brand ,
       SUM(ss_sales_price) sum_agg
FROM bigdata_public_dataset.tpcds_10g.date_dim dt ,
     bigdata_public_dataset.tpcds_10g.store_sales ,
     bigdata_public_dataset.tpcds_10g.item
WHERE dt.d_date_sk = store_sales.ss_sold_date_sk
  AND store_sales.ss_item_sk = item.i_item_sk
  AND item.i_manufact_id = 190
  AND dt.d_moy = 12
GROUP BY dt.d_year ,
         item.i_brand ,
         item.i_brand_id
ORDER BY dt.d_year,
         sum_agg DESC,
         brand_id LIMIT 100;

Para ver ejemplos de consultas con conjuntos de datos de distintos tamaños, consulte TPC-DS Data.

Para conocer más detalles sobre los datos, consulte la especificación oficial de TPC Benchmark DS.

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

tpch_10g, tpch_100g, tpch_1t, tpch_10t

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), US (Virginia), US (Silicon Valley), UK (London), Germany (Frankfurt), UAE (Dubai), China (Shanghai) Finance, China (Beijing) Finance, China (Beijing) Government Cloud, China (Shenzhen) Finance

Tablas y descripciones

TPC-H es una prueba de referencia para evaluar sistemas de procesamiento analítico en línea (OLAP). Simula transacciones entre proveedores y clientes, e incluye datos como pedidos, productos y clientes.

• customer (datos de clientes)

• lineitem (datos de partidas)

• nation (datos de países)

• orders (datos de pedidos)

• part (datos de piezas)

• partsupp (datos de proveedores de piezas)

• region (datos de regiones)

• supplier (datos de proveedores)

Ciclo de actualización

Este conjunto de datos es estático y no se actualiza.

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the lineitem table in the tpch_10g schema. To query tables from other dataset sizes, replace the schema and table names.
DESC bigdata_public_dataset.tpch_10g.lineitem;

Ejemplo de consulta

SET odps.namespace.schema=TRUE; 
SET odps.sql.validate.orderby.limit=FALSE;
SET odps.sql.hive.compatible=TRUE;
SELECT l_returnflag,
       l_linestatus,
       sum(l_quantity) AS sum_qty,
       sum(l_extendedprice) AS sum_base_price,
       sum(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
       sum(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
       avg(l_quantity) AS avg_qty,
       avg(l_extendedprice) AS avg_price,
       avg(l_discount) AS avg_disc,
       count(*) AS count_order
FROM bigdata_public_dataset.tpch_10g.lineitem
WHERE l_shipdate <= date'1998-12-01' - interval '90' DAY
GROUP BY l_returnflag,
         l_linestatus
ORDER BY l_returnflag,
         l_linestatus;

Para obtener más información y ejemplos de consultas, consulte la especificación oficial de TPC Benchmark H.

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

tpcxbb_10g, tpcxbb_100g, tpcxbb_1t, tpcxbb_10t

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), US (Virginia), US (Silicon Valley), UK (London), Germany (Frankfurt), UAE (Dubai), China (Shanghai) Finance, China (Beijing) Finance, China (Beijing) Government Cloud, China (Shenzhen) Finance

Tablas y descripciones

TPCx-BB es una prueba de referencia de big data que simula un escenario de comercio electrónico. El conjunto de datos incluye registros de ventas y devoluciones, así como información de artículos y promociones. Las tablas son las siguientes:

• customer (datos de clientes)

• customer_address (datos de direcciones de clientes)

• customer_demographics (datos demográficos crediticios de clientes)

• date_dim (dimensión de fecha)

• household_demographics (datos demográficos crediticios de hogares)

• income_band (rangos de ingresos)

• inventory (datos de inventario)

• item (datos de artículos)

• item_marketprices (precios de la competencia para el artículo)

• product_reviews (reseñas de productos)

• promotion (promociones de productos)

• reason (motivos de devolución)

• ship_mode (modos de envío)

• store (datos de tiendas)

• store_returns (registros de devoluciones de productos del canal de tienda)

• store_sales (registros de ventas de productos del canal de tienda)

• time_dim (dimensión de tiempo)

• warehouse (datos de almacenes)

• web_clickstreams (flujos de clics web)

• web_page (datos de páginas web)

• web_returns (registros de devoluciones de productos del canal web)

• web_sales (registros de ventas de productos del canal web)

• web_site (datos de sitios web)

Ciclo de actualización

Este conjunto de datos es estático y no se actualiza.

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the web_sales table in the tpcxbb_10g schema. To query tables from other dataset sizes, replace the schema and table names.
DESC bigdata_public_dataset.tpcxbb_10g.web_sales;

Ejemplo de consulta

SET odps.namespace.schema=TRUE; 
SELECT * FROM bigdata_public_dataset.tpcxbb_10g.web_sales limit 100;

Para obtener más información y ejemplos de consultas, consulte la especificación oficial de TPCx-BB.

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

commerce

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu)

Tablas y descripciones

• adv_raw_sample (una muestra sin procesar de registros de impresiones y clics de anuncios gráficos de más de un millón de usuarios de Taobao seleccionados aleatoriamente durante un periodo de ocho días).

• adv_ad_feature (información básica sobre algunos de los anuncios de la tabla raw_sample)

• user_profile (información básica sobre todos los usuarios de la tabla raw_sample)

• behavior_log (comportamiento de compra de todos los usuarios de raw_sample durante 22 días, que incluye navegación, adición al carrito, marcado como favorito y compras)

Ciclo de actualización

Este conjunto de datos es estático y no se actualiza.

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the behavior_log table. To query other tables, replace the table name.
DESC bigdata_public_dataset.commerce.behavior_log;

Ejemplo de consulta

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- This example uses the behavior_log table to count the top three best-selling product category IDs over a 22-day period.
SELECT cate,
       count(btag) sales
FROM behavior_log
WHERE btag='buy'
GROUP BY cate
ORDER BY sales DESC LIMIT 3;

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

life_service

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu)

Tablas y descripciones

• movie_basic_info (información básica de películas)

• movie_box (información básica de taquilla)

• areacode_basic_info_2020 (códigos de división administrativa y urbano-rural de 2020)

• phoneno_basic_info_2020 (atribución de números de celular de 2020)

Ciclo de actualización

• movie_basic_info, movie_box: los datos son estáticos y se proporcionan en particiones basadas en fechas.

• areacode_basic_info_2020, phoneno_basic_info_2020: estos conjuntos de datos son estáticos y no se actualizan.

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the movie_box table. To query other tables, replace the table name.
DESC bigdata_public_dataset.life_service.movie_box;

Ejemplo de consulta

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE;
-- This example queries the top ten movies by box office rank on January 14, 2017.
SELECT moviename
FROM bigdata_public_dataset.life_service.movie_box
WHERE ds ='20170114'
ORDER BY rank ASC LIMIT 10;

Nombre del proyecto

BIGDATA_PUBLIC_DATASET

Nombre del schema

finance

Regiones disponibles

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu)

Tablas y descripciones

• ods_enterprise_share_basic (información bursátil básica)

• ods_enterprise_share_quarter_cashflow (estado de flujo de efectivo trimestral)

• ods_enterprise_share_quarter_growth (datos de crecimiento empresarial trimestral)

• ods_enterprise_share_quarter_operation (datos de rotación financiera trimestral)

• ods_enterprise_share_quarter_profit (estado de resultados trimestral)

• ods_enterprise_share_quarter_report (informe trimestral)

• ods_enterprise_share_trade_h (precios de acciones)

Ciclo de actualización

Los datos son estáticos y se proporcionan en particiones basadas en fechas.

Consultar la estructura de la tabla

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE; 
-- Query the structure of the ods_enterprise_share_basic table. To query other tables, replace the table name.
DESC bigdata_public_dataset.finance.ods_enterprise_share_basic;

Ejemplo de consulta

-- Enable session-level schema syntax.
SET odps.namespace.schema=TRUE;
-- This example queries basic stock information for January 14, 2017.
SELECT *
FROM bigdata_public_dataset.finance.ods_enterprise_share_basic
WHERE ds ='20170114' LIMIT 10;