为什么选择我们

传统的网络存储解决方案对分布式的容器化环境来说过于复杂、成本高昂、且不稳定、性能差。我们的存储方案解决了以上痛点,实现了跨多云、零宕机时间、和零数据损失,同时极大的降低基础架构的成本,极高的性能满足了数据库高密度I/O的存储需求。


KubeStorage基于Linux内核级网络块存储技术,性能已经达到了国内最高水平,在没有网络瓶颈的环境下三副本同步延时不到53μ sec(微秒)。经过一年的测试三副本的实时同步存储服务可提供99.99999% 的数据持久性和 99.99% 的存储服务可用性。


KubeStorage基于Linux内核技术提供PB 级存储,不需要单独购买存储服务器, 内核级存储服务CPU 内存占用极少可以和应用程序共享硬件资源融合部署,减少基础架构成本50%以上。非集中式存储还减少了风险,多个节点出现故障也不影响其它节点的使用。


数据冗余:支持多副本,提供基于服务器、机架、数据中心的三个级别故障域管理。支持 快照、克隆、精简卷配置、卷在线扩容与缩容、集群在线扩容等企业级特性。


KubeStorage解决了数据库等有状态服务容器化后所需要存储的高性能和自动化供应的问题,加速了容器化应用。多存储协议支持:块存储、nfs、iSCSI、S3、FTP。业务场景支持:容器、虚拟化、数据库、大数据分析存储、业务及日志等类型数据。


提供云原生AI大数据服务海量文件存储内存加速方案,本地内存缓存系统可与远端对象存储同步,从本地内存缓存读取文件训练速度最高可提升约 300% 。同时也大幅度提升 GPU 使用效率 。

通过6种技术手段,在 k8s+ KubeStorage环境下,创新性的实现了单节点数据库的高可用,直接节省了部署高可用数据库服务所需要的50%以上的硬件。并且可以对接Prometheus监控平台,实现运维监控自动化。


提供 4层 Haproxy kubernetes proxy 辅助模块,可动态配置数据库对k8s 集群外服务的端口,可动态管理被负载的数据库服务,为 k8s 集群外访问数据库提供了稳定的4层流量负载均衡。


基于Kubernetes Operator和KubeStorage高性能网络存储 、监控报警、4层全局负载均衡等组合技术提供了常用的数据库、中间件、大数据等容器化的高可用解决方案。另外我们提供一站式DBaaS 平台解决方案。


存储运维简单,不需要专业运维人员,人力成本每年减少180万以上。


容器化的数据库服务交付时间从1到2天,降到了分钟级交付;容器的隔离特性使服务部署密度更高,资源利用率也成倍提高。


Linux内核级超融合云原生网络存储国内还没有同类产品、无竞争产品。我们的产品有免费版本使用。


点击查看技术白皮书

点击查看性能测试报告

点击查看AI大数据服务数据分析性能加速解决方案


正在寻找机构投资,有意向请电话咨询。

超融合PB 级存储解决方案KubeStorage SDS

内核级超融合网络存储、不需要单独购买存储服务器、减少基础架构成本30~60%,减少风险、加速容器化应用,彻底解决云厂商绑定问题

KubeStorage 和传统网络存储的差异总结
KubeStorage 使用场景汇总

KubeStorage 存储方案介绍

KubeStorage通过存储池来管理本地块存储资源,例如:HDD 或 SSD硬盘,RAID集,网盘和本地NVMe驱动器;

内核级支持数据透明压缩、加密、读写缓存;

基于 DRBD 内核级虚拟块设备驱动+多种同步算法确保了数据微秒级多副本同步, I/O 损耗小于10%;

Linux内核程序 cpu、内存占用极少,可超融合和应用混合部署,不需要单独购买存储服务器,减少基础架构成本30~60%。I/O 损耗小、性能高、加速容器化应用,彻底解决云厂商绑定问题;

维护简单不需要专业运维人员,每年人力成本减少180万以上;

多存储协议支持:块存储、nfs、iSCSI、S3、FTP。业务场景支持:容器、虚拟化、数据库、大数据分析、业务及日志类型数据;

作为企业级容器存储解决方案, 提供 CSI 接口为Kubernetes集群提供了持久卷的动态供应,为Kubernetes下的容器应用提供丰富的存储功能,如:PVC在线扩容、PV Quota、PV快照及还原等;

支持异步连续备份到任意公有云或数据中心,以便跨广域网进行灾难恢复。私有云数据中心与公有云平台之间,数据无缝迁移;

支持虚拟化KubeVirt的虚机镜像读写(性能大于本地存储),支持KubeVirt 虚机几秒钟内实时迁移;

操作系统支持CentOS7、CentOS8、Ubuntu18.x、Ubuntu20.x 以及Linux内核从3.10到5.13 kernels;

能够对接Prometheus监控平台,实现运维监控自动化;

可扩展性 >2000个节点,>20000 个 Volume,PB 级规模。


单节点实现数据库或中间件的高可用方案
KubeStorage 提供内核级高性能多副本的块存储,经过一年的测试三副本的实时同步存储服务可提供99.99999% 的持久性和 99.99% 的服务可用性。

专用k8s调度插件把数据库容器调度到其中一个数据副本所在节点,实现块存储随容器漂移;

提供4层 Haproxy kubernetes Proxy 可动态配置对k8s 集群外服务的端口,可动态的管理被负载的数据库服务,对k8s 集群外访问数据库服务提供稳定的4层流量负载均衡,比 nodeport 方式要安全和稳定;

通过High Availability Controller 快速删除不可用节点的容器和挂载的存储锁(k8s自动删除不可用节点的 pod需要5分钟且存储锁不会自动删除);

• Pod livenessProbe 和 readinessProbe 负责容器在本节点自动重启;

Prometheus metrics + Alertmanager自动监控和报警;

单节点高可用数据库方案硬件成本节省70%;


收益:

与容器编排平台及管理平台无缝对接,实现自动化调度、自动化PV供应;
支持有状态容器应用实现跨节点快速重建;
提供大于本地硬盘的性能,满足容器中数据库应用高密度I/O性能的要求;
能够对接Prometheus监控平台,实现运维监控自动化。

此方案应用场景也适用于Mysql、Redis、PostgreSQL、Prometheus、RabbitMQ、Clickhouse等数据库的单节点实现高可用。

AI 大数据分析性能加速方案落地
选择合适的缓存节点: 使用 Alluxio 可以获得更好的数据本地性能,在实际生产中我们发现不是所有节点都来做缓存性能就比较好。原因是有些节点的磁盘和网络IO 性能不是很好,这个时候需要我们能够把缓存节点尽量选择到有KubeStorage 存储和网络较好的节点上。我们通过指定 JobnodeAffinity 来进行数据集缓存节点的调度,从而保证缓存节点可高效的提供缓存服务。
配置缓存容量与路径: 通过CSI k8s 存储插件提供 Alluxio 的k8s PV FUSE mount 方式接入,省去了调用Alluxio SDK 的代码改造。 同时,为避免数据量过多而导致缓存量过于庞大,可配置缓存的最大容量与水位线(超过水位线的数据会被自动存储到二级KubeStorage 存储中),另外内存中的数据可有设置1---N个副本。
数据预加载: 第一次访问挂载的数据会经历一次下载数据目录下全部文件的过程,这就产生了一个问题,若数据所在的目录存在无需使用的其它数据,会造成空间资源与网络资源浪费。为避免这种问题,Alluxio既支持对数据的预加载,同时也支持文件目录元数据缓存。
KubeStorage存储池的读写性能是本地硬盘的400%以上,可做为Alluxio 的 二级存储,大大提高了Alluxio内存文件和本地存储的数据交换性能,使得从Alluxio 的内存和二级硬盘读写文件性能接近。
基于KubeStorage存储池提供的Alluxio 的文件元数据(RocksDB)所用的块存储,性能是本地物理硬盘的300%,满足数亿条元数据的读写性能。支持单Alluxio Master节点高可用方案。不用部署3master节点+zk  的高可用方案,硬件资源节省50%以上。
基于KubeStorage存储池提供的对象存储性能是一般对象存储的2—4倍,极大的加速了和Alluxio 的数据同步。
我们使用了不同的模型,推理和训练相同的数据,分别以使用 Alluxio和不使用 Alluxio 的方式推理和训练,对比训练时长,发现性能带来了显示提升。
集成了 Alluxio+KubeStorage后,显著提升了训练和推理的效率,尤其是一些小模型,做训练和推理,可以有效解决I/O 瓶颈的问题,训练速度最高可提升约 300% 。同时也大幅度提升 GPU 使用效率,加速了数据处理的迭代效率。

DRBD Linux 内核技术

DRBD(Distributed Relicated Block Device 分布式复制块设备驱动), 主要用来解决解决磁盘单点故障。

2009Linux2.6.33 kernel 内核开始已经集成 DRBD 内核模块,至今DRBD 技术已经存在十几年,DRBD的核心功能是通过Linux内核模块实现的。具体来说,DRBD构成虚拟块设备的驱动程序,因此DRBD位于系统的I/O堆栈的底部附近,支持同步和异步数据同步。因此DRBD非常灵活和通用,它适合为任何应用程序添加高可用性。最新版本 DRBD9.x有更多吸引人的特性,尤其是数据副本同步数量最多可扩展到16个、支持双主写、cpu资源消耗更少。

存储通过调用DRBD内核模块实现网络RAID及本地存储多副本的功能,不依赖容器网络, CPU 占用不超过3%,同步数据I/O 损耗在3%--10%,远远低于一般的网络存储(如:Ceph50%I/O 损耗)。
经过一年的测试三副本的实时同步存储服务可提供99.99999% 的持久性和 99.99%的服务可用性。

我们把最稳定的内核存储技术对接到了 kubernetes 上,让它焕发了新的生机。

DRBD内核态多节点数据高效实时同步
发生多个连续写操作的块只同步一次,所以同步速度很快。

因为块是根据磁盘上块的自然布局进行同步的,所以同步的时候磁盘查找的次数很少。

可变速率同步,DRBD检测同步网络上的可用带宽,将其与传入的前台应用程序I/O进行比较,并基于全自动控制回路选择适当的同步速率。

通过使用数据摘要(也称为校验和)可以进一步提高DRBD的同步算法的效率。


相对于传统网络存储比如Ceph、 GlusterFS 性能提高了300%

许多存储解决方案宣称支持容器技术,然而它们并不适用于高性能的数据库负载。例如,GlusterFS的 CPU 和内存用量,会随着卷数量的增加线性增长,此时I/O能力会大幅降低。Ceph通过跨主机数据同步提供高可用,无法和运行的容器应用做超融合部署,Ceph 数据同步是用户态的多副本数据强一致性同步,这样会产生大量网络延迟。这也是数据库类型的应用迁移到容器云上的最大障碍。

不同于传统的存储解决方案,KubeStorage为容器、裸金属服务器、虚拟化环境下的高性能数据库提供高I/O能力。KubeStorage 赋能客户通过运行超融合架构,使数据和容器运行在同一批物理主机上,从而最大化提高性能。KubeStorage通过提供专用k8s调度模块来保持容器和存储的超融合状态。这种方式下,如果没有本地数据的副本,你的容器不会被调度到这台主机上。


ZFS 多数据中心(高延时网络环境)备份方案


主要功能特性:

• 推拉模式

多种传输模式:TCP、TCP+TLS客户端身份验证、SSH

网络故障后自动重试

出现故障恢复后可自动重新发送和接收

发送和接收期间自动ZFS锁定

通过书签和锁管理,确保增量发送和接收

数据传输内容可加密、压缩

自动快照管理

定期文件系统快照

可定制快照保留策略

完善的监测和记录

可实时进度报告

结构化的日志记录

Prometheus监测