全新文件系统出炉:Weka.io 基准测试结果剖析

2017-07-21

Weka.io 宣布其文件存储设备能够向外扩展至数十亿文档规模。更重要的是,其并未采取对象存储机制,而只要求用户重新构建文件管理系统即可。

此次公布的 WekaIO Matrix 据称重新发明了文件管理系统——这款软件可运行在任何包含 SSD 的商用服务器或者各云计算实例当中,并可由此建立起集群。其还为这套存储资源池提供单一高性能可扩展全局命名空间,以供集群内的各应用程序加以使用。

Weka 公司指出,该软件能够并行运作,适用于闪存存储介质,且符合 POSIX 标准。根据我们掌握的情况,其是目前世界上速度最快的分布式文件系统,能够在 SPEC SFS 2014 软件构建基准测试当中处理两倍于 IBM Spectrum Scale 的工作负载量。基准测试结果显示,其可运行 500 项构建任务。Weka 方面希望接下来再进行一次 SFS2014 软件构建测试,这一次其将采用 120 个云计算实例——而非本轮测试中的 60 个,用以证明其性能能够随着计算实例数量的增加而线性提升。

通过对 SPEC SFS2014 软件构建基准测试的摘要信息进行观察,我们发现 Weka Matrix 使用了约 14 TB 内存容量,远远高于 Spectrum Scale 的 1 TB 与甲骨文 ZFS Storage 的 640 GB。因此尽管 Weka 在测试当中胜出,但我们仍然无法判断其是否拥有最佳性价比。毕竟单从测试结果尚不能得出结论。

基准测试结果指出," 这套单一 WekaIO Matrix 文件系统利用 60 个 EC2 实例构建起 Amazon 集群。数据受到 15+2 故障级别保护。所有数据与元数据皆被分布于整个集群当中。"

" 其部署模式采用一套超融合型架构,其中存储与应用服务运行在同一套基础设施之上。每个 EC2 实例拥有 32 个 vCPU、24 GiB 内存以及 2 x 320 GB(总计 640 GB)本地 SSD 存储容量。在 32 个虚拟 CPU 核心当中,有 2 个核心(占总体比例的 6.25%)配置为 MatrixFS 专用,其余 30 个则供应用程序本身使用。每个实例有 13 GB 内存(占总内存量的 5%)被分配给 WekaIO。"

全新文件系统出炉:Weka.io 基准测试结果剖析

Matrix 用户界面截图

该计算实例使用主频为 2.50 GHz 的英特尔至强 E5-2670 v2 CPU,而 Weka 在每个实例当中使用 2 个计算核心与 13 GB 内存。各服务器当中的本地 SSD 被合并为一套逻辑资源池,而后作为单一命名空间交由主机应用程序使用。其中的透明分层机制将冷门数据以不受限容量扩展方式交由 S3 或者 Swift 云对象存储服务处理,这些存储资源同样使用同一套命名空间。

位于硅谷的 Weka 公司由 Liran Zvibel、Omri Palmon 以及 Maor Ben-Dayan 于 2013 年创建,这是他们继 2008 年被 IBM 收购的 XIV 公司之后建立的第二家初创企业。该公司的此款软件目前已经开始接受订购。

上一篇:存储世界,不止如此 : EB级存储引擎背后的技术    下一篇:2017全球超算峰会召开 数普助力联想HPC