Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易被访问, 同时使得应用程序能够通过一个公共接口连接到许多存储系统。

背景信息

在大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OSS在内的持久化存储系统。

优势

  • 提供内存级I/O吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销。
  • 简化云存储和对象存储接入。
  • 简化数据管理,提供对多数据源的单点访问。
  • 应用程序部署简易。

Alluxio的详细信息,请参见Alluxio