游戏
中国大陆
企业/公共部门
“阿里云EMR Serverless Spark完美契合我们构建于开放生态、弹性资源和可插拔集成之上的云原生大数据架构愿景,是鹰角网络为全球游戏运营扩展数据能力的重要伙伴。”
毛旭辉
高级大数据工程师,鹰角网络
关于鹰角网络
鹰角网络成立于 2017 年,总部位于中国上海,以创造兼具挑战性和美学价值的游戏为使命。我们热衷于打造独特的世界,以逻辑启迪艺术,以才华激发创意。《明日方舟》是鹰角网络的处女作,是一款塔防手游。其独特的世界观和角色设计赢得了玩家和业界的一致好评,在多个国家和地区位列畅销榜前列。
我们将继续探索创意空间,致力于在全球推出更多动漫风格手游。
挑战
作为一款长线运营游戏,明日方舟频繁推出游戏内活动,玩法丰富多样,形成了高频、潮汐式的数据负载。由此产生的数据需求已不局限于传统BI报表,而是深度融入游戏机制和运营决策,对计算引擎的稳定性和性能提出了极高要求。鹰角网络的传统数据平台面临以下局限:
● 缺乏外部Catalog支持,无法与DolphinScheduler等主流调度器集成,导致工作流各自为政。
● 社区兼容性不足,引发引擎稳定性问题。
● 大规模Shuffle操作缺少远程Shuffle服务,磁盘压力突出。
● 前供应商技术支持不力,问题响应缓慢,且产品迭代路线图不明确。
为什么选择阿里云
鹰角网络选择阿里云 EMR Serverless Spark,因为它提供了开源兼容性、弹性可扩展性和企业级可靠性的完美结合。● 作为全托管的 Spark 兼容 Lakehouse 产品,EMR Serverless Spark 集成了 Airflow 和 DolphinScheduler,原生支持 Paimon Catalog 和 Hive MetaStore,并内置 Celeborn Remote Shuffle Service 以消除磁盘瓶颈。
● EMR Serverless Spark 保持 100% Apache Spark 社区兼容性,配备高性能 Fusion SQL 引擎,兼顾稳定性和执行速度。
● 阿里云及时的技术支持和透明的产品路线图,增强了鹰角网络对长期合作的信心。
架构
鹰角网络以EMR Serverless Spark为核心离线计算引擎,构建了现代化的分层数据架构。数据采集方面,通过自研埋点SDK进行日志采集,并借助Flink CDC实现实时数据库同步,从而保证数据的时效性和准确性,为下游分析奠定基础。在离线调度方面,鹰角网络采用双编排模式:面向代码工程师的Airflow和面向分析师的DolphinScheduler,两者均无缝对接EMR Serverless Spark这一统一批处理计算引擎。作业产物在本地Git仓库开发,通过CI流水线部署至OSS,并以SQL文件或JAR作业的形式通过DolphinScheduler原生的ALIYUN_SERVERLESS_SPARK作业类型提交。
内置的Celeborn Shuffle服务解决了大规模Shuffle任务的磁盘瓶颈问题,状态与调度系统保持一致,无需二次确认。
在实时分析方面,EMR Serverless StarRocks提供实时分析能力,指标通过智能BI仪表板可视化展示,并集成至一体化业务分析平台。Spark Thrift Server支持基于JDBC的即席查询,具备动态资源分配能力,为运维团队和数据仓库流水线提供支撑。
关键成果
迁移后,鹰角网络取得了显著成果:● 关键指标计算时间缩减 50%。例如,用户级宽表处理时间从 30 分钟缩短至 15 分钟。
● 核心 SLA 数据流水线交付提前 1.5 小时,显著增强了数据可用性保障。
● 通过精简 Spark SQL 会话和 DolphinScheduler 生产调度工作流,提升了开发效率,成功保障了多场关键游戏活动的数据交付。
● 借助全托管弹性集群、多版本管理和快速升级能力,大幅降低运维开销。
展望未来
随着合作深入,阿里云将持续支持鹰角网络的快速扩展。鹰角网络已在阿里云上为海外游戏运营构建类似的数据架构,将同样的效率和可靠性延伸至全球受众。展望未来,鹰角网络期待 EMR Serverless Spark 以开放优先的方式持续演进 Lakehouse 生态,包括统一目录管理和更广泛的探索性分析场景覆盖。鹰角网络将与阿里云携手,共同推动全球游戏运营的数字化未来。
精选产品
企业级大数据平台,基于 Hadoop、Spark、Flink 等开源生态,提供集群、作业和数据管理。
全托管的 Spark 兼容 Lakehouse 计算服务,内置 Celeborn Shuffle 服务、Fusion SQL 引擎和无缝调度器集成。
全托管的云原生StarRocks服务,专为高性能实时分析打造,以亚秒级查询延迟为BI仪表板和业务洞察提供支撑。
全托管的云原生 Serverless Apache Flink 服务,支持实时流处理、CDC 同步和事件驱动数据管道。
弹性伸缩、高持久、高性价比的云存储服务,用于托管数据湖资产、作业产物和CI/CD产出。
概览
通过采用EMR Serverless Spark,阿里云助力鹰角网络实现全球游戏运营数据架构现代化,计算时间缩短50%,SLA交付提前1.5小时,运维开销大幅降低。
使用的产品/解决方案
查看更多解决方案
