数普 CF8000系列分布式文件系统

2019-03-21



1. 概述
传统的 NAS 存储,通常会有 2 到 4 个机头,当业务持续增长后,尤其是连接数比较多时,机头的有限网络带宽和处理能力会成为性能的瓶颈。而且 NAS 本身是一个单点,如果
NAS 故障,数据会长时间无法访问,甚至丢失。而如果要做数据备份,则需要高昂的费用并且进一步消耗有限的带宽,这对于大部分企业是不可接受的,因此分布式存储有了施展拳脚的地方。
当前主流的分布式文件存储分为两类,一类是以 GlusterFS 为代表,基于一致性哈希计算文件存放位置,没有元数据服务器;另外一类是以 MooseFS/HDFS 为代表,采用元数据服务器来存放文件位置信息。两者都存在很大的弊端。
对于采用一致性哈希的 GlusterFS,第一,GlusterFS 适用于大文件的读写,对小文件的操作不太友好,尤其是海量小文件的读写和查找,数据访问效果非常差;第二,一致性哈希虽然能够做到自动故障恢复,但是故障恢复所引发的数据流量会影响整个集群,导致集群的延迟不可控,Ceph 也存在同样的问题,无法保证在集群出现恢复时 IO 的延迟;第三,一致性哈希带来的另外一个问题是无法支持异构,服务器和磁盘必须是相同配置,否则会存在短板效应,容量和性能都会受限于最小的节点; 第四,磁盘空间管理不均匀,一致性哈希理论上是能够保证数据均匀分布到各个节点,但是由于虚拟节点数的选择,在使用过程中, 往往磁盘使用空间会有很大差异,不均衡度甚至能够达到 30%-50%,Ceph 的crush 算法也存在同样的问题。
对于采用元数据的 MooseFS/HDFS,元数据节点都是采用 master/slave 的主备模式,在这种场景下,元数据节点就会成为集群的容量和性能瓶颈,能够支撑的集群容量和小文件性能都会受制于 master。MooseFS/HDFS 为了能够提供更大的集群容量,只能选择把文件切换大块,64M 或者 128M,这对小文件非常不友好,造成很大的空间浪费。
数普CF8000是数普自研的一款分布式文件存储,提供标准的 POSIX 接口。数普CF8000采用分布式架构,支持容量和性能的水平扩展,最多可以支撑上万个 client 同时访问。数普CF8000可以部署在普通的 x86 服务器上,支持主流的 Windows系统和LINUX 操作系统(CentOS,Redhat,SUSE)。 数普CF8000的基本思想是将所有服务器上的磁盘进行统一管理,提供统一命名空间的文件存储。数普CF8000具备以下特点:
1. 高可靠,数普CF8000支持文件分片和镜像,同时底层磁盘组成 RAID5,为数据提供了双保险,保证数据在磁盘故障,节点故障都不会丢失。
2. 高可用,数普CF8000支持磁盘故障和节点故障自动检测机制,当磁盘发生故障,底层RAID5 会保证提供持续的数据服务;当节点发生故障,文件镜像机制会保证有一份数据仍然可用。

3. 高安全,支持Microsoft Active Directory,OpenLDAP。
4. 灵活扩展,数普CF8000支持目录级别的磁盘配置,每一级目录都可以单独设置磁盘配置,当添加磁盘或者节点后,只需要重新设置目录的磁盘配置,新的文件即可享受集群扩容后带来的容量和性能扩展。
5. 高性能,数普CF8000支持文件切片,保证大文件的随机读写性能,数普CF8000的元数据集群是分布式架构,保证了小文件的读写性能。随集群规模线性增长,在 100Gb 带宽网络+NVMe 高性能磁盘集群中,可达百 GB/s。
6. 分层存储,数普CF8000可以在一个命名空间中提供基于不同介质组成的存储资源池, 高性能资源池既可以当作缓存来用,也可以持久化数据。
7. 目录/文件策略,数普CF8000支持目录/文件级别的文件策略,可以根据需求,对目录/文件指定分片和镜像策略,保证重要数据的高可靠,又可以保证非重要数据不会占用过多存储资源。
8. 支持1Gb/10Gb/25Gb/50Gb/100Gb以太网、RDMA(RoCE)、InfiniBand 协议。


2. 部署架构
数普CF8000由 4 个角色组成:集群管理角色(MS),元数据管理(MDS),数据管理(OSS)和客户端(CLIENT)。在部署的时候,可以选择分离结构也可以选择混合部署。最少需要 2台服务器,保证各个角色的高可用。结构图如下:


组件和架构

最小规模 2 台服务器,可水平扩展

MS:集群管理服务,通常运行在2-3台服务器上
MDS:元数据服务,可运行在 SSD 或NVMe介质,主要负责数据定位等工作,根据集群文件数量可随时水平扩展。
Storage:数据存储服务,可运行在 SAS / SATA / SSD / NVMe 磁盘上,存储实际数据
集群在部署、扩容时自动将MDS和Storage进行配对,用于进行副本复制
客户端通过以太网络或 InfiniBand 访问

支持RAID1 + 双副本数据保护机制

高扩展性 + 海量文件支持
机器学习必须基于海量数据,是 AI 业界的统一共识,扩展性和海量文件支持至关重要
数普分布式存储:
存储支持 1024 个节点,元数据支持 256 个节点
支持 10000+ 以太网客户端,2000+ RDMA 客户端
每 400GB 元数据空间,可支持 1 亿文件
单集群可支持千亿级别文件规模

单集群可支持10PB以上容量
元数据分布使用动态子树算法,避免数据访问热点

RAID0/5/6 + 双副本,或RAID5/6 + 单副本,数据可靠性可达9个9

特色功能——容器支持


多云平台支持



交付方式

1)纯软件

2)软硬一体

可选择2U、4U软硬件一体机模式


计算节点(服务器)+ 存储节点(磁盘阵列)模式



兼容性


  • 可兼容主流厂商硬件,包括戴尔、惠普、华为、思科、浪潮、联想、超微等厂商服务器
  • 支持LVS、F5等负载均衡软硬件






上一篇:已经没有了    下一篇:SP-S2012(Intel 2U 1T 1)