MaxCompute:GitHub パブリックイベントデータ

クエリの例:

SET odps.namespace.schema = TRUE;
SELECT dws.repo_id AS repo_id,
 repos.name AS repo_name,
 SUM(dws.stars) AS stars
FROM bigdata_public_dataset.github_events.dws_overview_by_repo_month dws
JOIN bigdata_public_dataset.github_events.db_repos repos ON dws.repo_id = repos.id
WHERE MONTH >= '2015-01' AND MONTH <='2022-12'
GROUP BY dws.repo_id,
 repos.name
ORDER BY stars DESC LIMIT 10;

分析結果: 過去 5 年間で、elasticsearch が最も人気のあるオープンソースデータベースプロジェクトであり、redis と prometheus がそれに続きました。

クエリの例:

SET odps.namespace.schema = TRUE;
SET odps.sql.validate.orderby.limit=FALSE;
 WITH tmp as
 (SELECT dws.repo_id AS repo_id, repos.name AS repo_name, SUM(dws.stars) AS stars, SUBSTR(MONTH,1,4) AS YEAR, row_number() over (partition BY SUBSTR(MONTH,1,4)
 ORDER BY SUM(dws.stars) DESC) AS ranknum
 FROM bigdata_public_dataset.github_events.dws_overview_by_repo_month dws
 JOIN bigdata_public_dataset.github_events.db_repos repos ON dws.repo_id = repos.id
 WHERE MONTH>='2018-01'
 GROUP BY dws.repo_id, repos.name,SUBSTR(MONTH,1,4))
SELECT repo_id,
 repo_name,
 stars,
 ranknum,
 YEAR
FROM tmp
WHERE YEAR<=2022
 AND ranknum<=10
ORDER BY YEAR ASC,ranknum ASC;

分析結果: 過去 5 年間で、トップ 10 のオープンソースデータベースプロジェクトのランキングは変動しました。clickhouse は最も速い成長を示し、2018 年の 10 位から 2021 年には 1 位に上昇しました。2022 年には、着実に上昇していた redis に追い抜かれました。対照的に、taosdata/TDengine は 2019 年に 1 位でしたが、1 年以内に 9 位に落ちました。

クエリの例:

SET odps.namespace.schema = true;
SET odps.sql.validate.orderby.LIMIT=false;
WITH top_10_repos AS (
 SELECT
 dws.repo_id AS repo_id, 
 repos.name AS repo_name, 
 SUM(dws.stars) AS stars
 FROM bigdata_public_dataset.github_events.dws_overview_by_repo_month dws
 JOIN bigdata_public_dataset.github_events.db_repos repos ON dws.repo_id = repos.id
 WHERE MONTH >= '2018-01' AND MONTH <='2022-12'
 GROUP BY dws.repo_id, repos.name
 ORDER BY stars DESC
 LIMIT 10
),
tmp AS (
 SELECT
 MONTH,
 repo_id,
 stars,
 SUM(stars) OVER (PARTITION BY repo_id ORDER BY MONTH ASC ) AS total_stars
 FROM bigdata_public_dataset.github_events.dws_overview_by_repo_month
 WHERE MONTH >= '2015-01' AND stars IS NOT NULL
 AND repo_id IN (SELECT repo_id FROM top_10_repos)
 GROUP BY repo_id,MONTH,stars
 ORDER BY MONTH ASC,repo_id)
 
SELECT
 tmp.MONTH AS MONTH,
 top_10_repos.repo_name AS repo_name,
 tmp.total_stars AS total_stars

 FROM tmp
 JOIN top_10_repos ON top_10_repos.repo_id = tmp.repo_id
 GROUP BY MONTH,repo_name,total_stars
 ORDER BY MONTH ASC,repo_name
;

分析結果: トップ 10 のオープンソースデータベースプロジェクトの中で、elasticsearch は一貫して最も人気があります。clickhouse プロジェクトは 2021 年以降、急速な成長を遂げています。

クエリの例:

set odps.namespace.schema = true;
SELECT
 repos.name AS repo_name,
 sum(dws.stars) AS stars
FROM bigdata_public_dataset.github_events.dws_overview_by_repo_month dws
JOIN bigdata_public_dataset.github_events.db_repos repos ON repos.id = dws.repo_id
WHERE month >= '2023-01' AND month <= '2023-06'
GROUP BY repo_name
ORDER BY stars DESC
LIMIT 10;

分析結果: 2023 年前半、clickhouse が最も人気のあるデータベースであり、prometheus と redis がそれに続きました。

クエリの例:

SET odps.namespace.schema = true;
SELECT
 repos.name AS repo_name,
 COUNT(dwd.id) AS num
FROM bigdata_public_dataset.github_events.dwd_github_events_odps dwd
 JOIN bigdata_public_dataset.github_events.db_repos repos ON repos.id = dwd.repo_id
WHERE type = 'PullRequestEvent'
 AND ds>='2023-01-01' and ds<='2023-06-30'
 AND action = 'opened'
GROUP BY repos.name
ORDER BY num DESC
LIMIT 10;

分析結果: 2023 年前半、StarRocks は最も活発にメンテナンスおよび更新されたデータベースでした。プロジェクトのアクティビティは、作成された PullRequest イベントの数によって定義されます。

クエリの例:

SET odps.namespace.schema=true; 
WITH a AS 
(
 SELECT repo_id
 ,repo_name
 ,actor_id
 ,actor_login
 ,COUNT(*) AS contribution
 ,ds
 FROM bigdata_public_dataset.github_events.dwd_github_events_odps
 WHERE ds >='2021-01-01' and ds<='2021-12-31'
 AND (
 (
 type = 'PullRequestEvent'
 AND action = 'opened'
 )
 OR (
 type = 'IssuesEvent'
 AND action = 'opened'
 )
 OR (
 type = 'IssueCommentEvent'
 AND action = 'created'
 )
 OR (
 type = 'PullRequestReviewEvent'
 AND action = 'created'
 )
 OR (
 type = 'PullRequestReviewCommentEvent'
 AND action = 'created'
 )
 OR (
 type = 'PushEvent'
 AND action IS NULL
 )
 )
 GROUP BY repo_id
 ,repo_name
 ,actor_id
 ,actor_login
 ,ds
)
SELECT repo_name
 ,actor_login
 ,SUM(contribution) AS contribution
FROM a
WHERE repo_name = 'StarRocks/starrocks'
AND actor_login NOT LIKE '%[bot]'
AND actor_login NOT LIKE 'cockroach%'

GROUP BY repo_name
 ,actor_login
ORDER BY contribution DESC
LIMIT 10
;

分析結果: 2023 年前半、kangkaisen は最もアクティブなオープンソースデータベースプロジェクトの主な個人貢献者でした。

クエリの例:

SET odps.namespace.schema = TRUE;

SELECT dws.repo_id AS repo_id,
 repos.name AS repo_name,
 SUM(dws.stars) AS stars
FROM bigdata_public_dataset.github_events.dws_overview_by_repo_month dws
JOIN bigdata_public_dataset.github_events.programming_language_repos repos ON dws.repo_id = repos.id
WHERE MONTH >= '2015-01'
GROUP BY dws.repo_id,
 repos.name
ORDER BY stars DESC LIMIT 10;

分析結果: 過去 5 年間で、最も人気のあるプログラミング言語プロジェクトは Go で、81,642 個のスターを獲得しました。それに続いて TypeScript と Node がありました。

クエリの例:

SET odps.namespace.schema = true;
SET odps.sql.validate.orderby.limit=false;
WITH top_10_repos AS (
 SELECT
 dws.repo_id AS repo_id, 
 repos.name AS repo_name, 
 SUM(dws.stars) AS stars
 FROM bigdata_public_dataset.github_events.dws_overview_by_repo_by_month dws
 JOIN bigdata_public_dataset.github_events.programming_language_repos repos ON dws.repo_id = repos.id
 WHERE month >= '2018-01' AND month <='2022-12'
 GROUP BY dws.repo_id, repos.name
 ORDER BY stars DESC
 LIMIT 10
),
tmp AS (
 SELECT
 month,
 repo_id,
 stars,
 SUM(stars) OVER (PARTITION by repo_id ORDER BY month ASC ) AS total_stars
 FROM bigdata_public_dataset.github_events.dws_overview_by_repo_by_month
 WHERE month >= '2015-01' AND stars IS NOT NULL
 AND repo_id IN (SELECT repo_id FROM top_10_repos)
 GROUP BY repo_id,month,stars
 ORDER BY month ASC,repo_id)
 
SELECT
 tmp.month AS month,
 top_10_repos.repo_name AS repo_name,
 tmp.total_stars AS total_stars

 FROM tmp
 JOIN top_10_repos ON top_10_repos.repo_id = tmp.repo_id
 GROUP BY month,repo_name,total_stars
 ORDER BY month ASC,repo_name
;

分析結果: 過去 5 年間で、Go は人気が最も急速に成長したプログラミング言語プロジェクトでした。