精品为您呈现,快乐和您分享!
收藏本站
类型:编程开发 语言:英文
大小:13.4M 更新时间:2020-10-09
推荐指数:
应用简介
Alluxio是一个虚拟分布式存储系统,在计算框架和存储系统之间搭建了一座桥梁,使计算应用程序能够通过通用接口连接到众多存储系统。 Alluxio项目起源于加州大学伯克利分校一个名为AMPLab的项目。 Tachyon 的一个研究项目,它是伯克利数据分析堆栈(BDAS) 的数据层。
Alluxio是一个虚拟分布式存储系统,在计算框架和存储系统之间搭建了一座桥梁,使计算应用程序能够通过通用接口连接到众多存储系统。 Alluxio项目起源于加州大学伯克利分校一个名为AMPLab的项目。 Tachyon 的一个研究项目,它是伯克利数据分析堆栈(BDAS) 的数据层。
软件特点
1.灵活的文件API:Alluxio的本地API类似于java.io.File类,提供InputStream和OutputStream接口,并对内存映射I/O提供高效支持。我们建议使用此API 来获得Alluxio 的完整功能和最佳性能。
2、与Hadoop HDFS兼容的文件系统接口:基于这套接口,Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。
3.可插拔的底层存储:Alluxio支持将内存数据持久化到底层存储系统。 Alluxio提供了一个通用的接口来简化与不同底层存储系统的连接。目前,Alluxio支持Microsoft Azure Blob Store、Amazon S3、Google Cloud Storage、OpenStack Swift、GlusterFS、HDFS、MaprFS、Ceph、NFS、Alibaba OSS、Minio和单节点本地文件系统。未来将支持更多其他存储系统。
4. Alluxio分层存储:Alluxio可以管理内存和SSD、HDD等本地存储,以加速数据访问。如果需要更精细的控制,可以利用分层存储功能自动管理不同层之间的数据,确保热点数据位于速度更快的存储层。自定义策略可以轻松应用于Alluxio,并且引脚的概念允许用户显式控制数据的存储位置。
5.统一命名空间:Alluxio可以通过挂载功能实现不同存储系统之间的高效数据管理。另外,透明命名机制可以在将存储对象持久化到底层存储系统时保留存储对象的文件名和目录层次结构。
6. Web UI:用户可以通过Web UI 浏览文件系统。在调试模式下,管理员还可以查看每个文件的详细信息,包括存储位置、检查点路径等。
7.命令行:用户还可以通过./bin/alluxio fs与Alluxio交互,例如将数据复制进和复制出文件系统。
热门攻略
热门资讯