服务热线: 800-810-7388
MMC-ST系列,让飞行变得更简单。
MMC-ST系列,让飞行变得更简单。
MMC-ST系列,让飞行变得更简单。
MMC-ST系列,让飞行变得更简单。
分享到:

中国石油

日期: 2016-09-26
浏览次数: 245

客户面临的挑战

海量文件管理困难

当数据量不断增长,存储系统里面的文件数量也会快速增长。当存储系统内的文件数量增长到数千万以上时,文件的检索查找等操作将会给文件系统带来巨大的压力,特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。传统的存储方案(如NAS)都存在着文件数量、单目录下文件数量等诸多限制,并且当存储系统内文件数量达到一定数量时,文件的检索效率就会急剧下降,从而影响了业务的运行效率。

 存储带宽压力大

鉴于项目中多个计算节点需要共享访问数据,并发访问的程度较高,这给存储系统带来较大的IO压力。

文件共享障碍

客户文件系统较多,布局分散,导致文件的整理,文件版本的管理与合并非常繁冗,需要消耗大量人力资源。主机访问同一类型文件需要多次挂载。

 数据安全隐患

基于数据安全性与高可用性方面的角度来看,各生产存储数据孤立,没用近线存储接管措施。一旦生产存储故障,从备份系统恢复数据将占用很长时间,影响业务连续性。

扩展性有限

生产存储接近满配,扩展能力受限,而且经过动态扩展之后如果没有数据动态负载均衡的功能,即使存储系统的容量增长,性能不会随之增长,这给高速增长的业务造成一定的障碍。


SOUL解决方案

为了解决客户面临的困难,本次方案在设计之初就提出了以下原则:

系统高可靠性:局部部件甚至单台存储节点失效不影响数据的完整可用;故障恢复不影响业务运行。

高共享性能: 多台节点共享同一存储设备甚至数据文件,系统设计应该从实际应用出发,提供共享环境下的高性能,保证系统响应时间、输出带宽不会因为客户端数量的增加而明显下降。

灵活性及可扩展性:根据未来业务的增长和变化,系统可以平滑地扩充和升级,最大程度的减少对网络架构和现有设备的调整,对前端业务的影响可以降到最低。

 管理简单:采用标准的TCP/IP架构,全中文管理界面,智能化故障高速修复,不需要专人学习私有协议,一般网管人员兼职即可轻松维护,管理工作量不会随着容量的增长而增加。

较低的总体拥有成本(TCO: TCO是指资产购进成本及在其整个生命服务周期中发生的成本之和。TCO不等同于资产的购买成本,它还要包括资产购进后运营和维护的费用。存储系统的总体拥有成本由设备购置成本、实施成本、维护成本、管理成本、升级成本、宕机成本等因素构成,北方数据的方案,着力于从上述多个方面帮助用户降低成本,从而达到TCO的有效降低。

方案拓扑图:

中国石油

SureSave存储系统是一款针对海量数据存储应用而设计的大规模通用分布式存储系统,采用通用硬件设备作为基本的构建单元,为应用提供全局统一的系统映像和完全POSIX兼容的API接口。

SureSave分布式存储系统采用了存储节点集群通过千兆以太网络构建,具备极高的扩展性和可靠性。利用SureSave的相关软件功能消除集群内的单点故障,避免因为故障而导致服务中断或者数据丢失等影响,并且打破了传统存储系统的种种限制。

1、本次方案采用22个节点实现分布式并行处理,节点之间内部心跳通过万兆传输保证性能;

2、配置22个节点,每个节点均使用RAID5保护机制,另外节点之间实现冗余,坏一个节点不会影响业务系统运行。

 3、整体容量超过8PB

 4DCS1000分布式存储采用no-metadata智能定位算法来计算数据分布信息,集群中的任何服务器和客户端只需根据路径和文件名就可以对数据进行定位和读写访问。因此DCS无需将元数据与数据进行分离,更无需专门的元数据服务器进行元数据管理。集群中的所有节点都可以智能地对文件数据分片进行定位,不需要查询索引或者其他服务器。因此可以实现数据访问完全并行化,实现真正的线性性能扩展,同时即使在高并发、海量数据访问环境下,也不会产生因为元数据访问压力带来的数据读写性能瓶颈。


用户收益

高效管理海量数据

SureSave分布式存储系统单卷可支持PB级的存储空间,高效的管理上百亿个文件,单目录可以高效支持千万级的文件数量。这些特性对于数据量很大,并且对于检索效率要求较高的应用非常重要。SureSave打破了存储系统在面向海量小文件时的种种限制,提供了几乎无限的单目录文件数量支持、高效的文件检索效率支持,帮助企业解决海量小文件存储带来的烦恼。

高数据读写性能

SureSave分布式存储系统通过多台存储节点提供同时数据存取服务的方法以满足大量应用节点的并发访问需求。在应用节点端,当应用程序往存储系统上写文件时,文件将会被根据一定大小进行分片存放到多台存储节点上;在应用程序读文件时,则并发的从多个节点上读取数据。由于大量的数据IO请求都被分散到多台存储节点上,使得所有的存储节点上的磁盘性能和网络带宽都可以同时得到充分的利用,这样SureSave分布式存储系统的聚合带宽由多台的存储节点上的IO带宽相加而成,从而克服了NAS的单一出口点所造成性能瓶颈,可以满足多台应用节点并发访问的带宽需求。

通过实现多存储节点的并发数据访问支持,消除了传统存储系统中常见的负载不均导致的热点数据问题。SureSave通过数据在存储节点集群中的条带化分布实现高效、全面的负载均衡功能,充分利用硬件和网络的性能,发挥出最高IO吞吐量。

数据全局共享

SureSave大规模分布式存储系统采用文件系统全局命名空间,所有计算节点都可看到一致文件系统视图。数据的全局共享可以加强各计算节点之间的协作,提高了作业的运行效率。而且数据的统一管理也方便用户数据的统一管理,并简化应用系统的开发。

高数据安全性

基于数据安全性方面的考虑,用户可以通过SureSave配置工具设置数据相应的安全等级,选择将数据和校验数据分别存放在不同的存储节点上。SureSave存储系统可以同时使用多条高速数据通道,可消除网络层的单点故障,进一步提高系统的高可用性。在这样的情况下,即使出现存储节点宕机、网络中断、磁盘损坏时,仍然能够保障数据完整性和数据服务的持续运行。例如,在运行中存储节点由于磁盘损坏而丢失了该磁盘上的部分数据,SureSave分布式存储系统将会立刻发现该异常并自发的启动数据恢复流程,利用存放于其它存储节点中该部分数据的校验数据重新生成一份以保证数据仍有一定的冗余度。由于SureSave的数据恢复是基于真实丢失的数据,并且数据恢复是通过整个存储集群同时并发进行,所以相对于传统的RAID技术具备更快的数据重建速度,这也能够有效提升数据的安全性。

用户可以将指定的数据设置相应的冗余等级和数量,冗余数据存放在不同的节点上将确保出现存储节点宕机时数据不会丢失,也不会出现服务中断的现象。而且当冗余数据越多时,业务对数据进行访问时将会把不同的访问请求分发到不同的数据分片上,达到负载均衡的效果以帮助业务提供数据访问性能。通过将数据和校验数据存放在不同存储节点的方法可以对一系列的软硬件故障(网络、主机、磁盘等)进行自动的隔离,消除了存储系统的任何单点故障,而且也无需配置任何复杂的配置。

SureSave具有一整套完整的故障恢复流程,该软件将会自动的探测分布式存储系统内的各类可能出现的故障,如磁盘损坏、系统宕机、网络中断等各类数据中心常见的故障。分布式存储系统内一旦发现了该类故障,该软件就会立刻启动相应的故障处理恢复流程对数据进行相应的恢复保护,确保数据的完整性,并且整个恢复过程完全不影响业务连续运行。而且由于故障自动恢复软件能够提供的是整个集群全局的数据恢复,充分的利用了集群内的空闲资源进行相应的处理,能够提供高出RAID技术五倍的数据恢复速度,能够最大程度的确保数据完整性,为业务长期稳定运行打下基础。

 易在线扩展性

  SureSave负载均衡软件是专门针对存储扩展性需求较高的应用环境而提供。当存储系统按需在线动态扩展容量之后,管理员可以选择在合适的时间启动或者停止负载均衡软件,该功能将数据在存储节点之间迁移,直到数据分布较为均衡停止。通过SureSave负载均衡软件的数据迁移工作,SureSave分布式存储系统的性能能够随着容量的增长而线性增长。

 易管理维护性

SureSave存储系统配有简单易用的图形化管理和监控界面,支持通过专用的安全通道进行远程配置和全系统监控,能够智能的发现各类软硬件故障并进行处理,减少了管理员的工作量。

无缝兼容现有环境

SureSave存储系统的设计是面向通用的硬件和软件环境,如使用通用的以太网络作为数据传输通道可以确保充分利用现有的环境,并且可以无需对环境做出任何修改。另外SureSave能够直接支持LinuxWindows等常用的操作系统之间进行数据共享,无需对操作系统做任何修改,所以能够无缝的接入到企业现有的软硬件环境。

低整体拥有成本

SureSave大规模分布式存储系统能够极大的降低构建和运维成本,主要有以下几点:

极大地提高了数据可用性:通过SureSave内置的高可用和故障自动恢复功能等卓越的功能,极大减少了系统由于维护或备份恢复所需的大量时间,从而彻底提高了企业的生产效率。

数据的充分共享:数据可以被前端的各种类型的主机共享,无需在Linux和Windows系统之间进行数据迁移。这允许一个数据拷贝被所有人员与进程共享,大大减少了对不同环境下相同的数据的多种形式的管理费用。

存储的运维成本:由于采用了通用、企业级的硬件构建,具有极高的性价比和兼容性。管理员可以轻易的掌握系统的运维管理,使得培训支出上的费用大大减少。


北方数据的服务优势

除了产品本身的技术优势以外,北方数据在服务与支持方面也有着很强的竞争力,主要反映在以下几个方面:

快速:由于北方数据拥有存储核心技术,客户在使用中碰到的问题或者新的需求,北方数据的研发人员都可以快速了解相关情况,从而可以安排相关研发配合工作。相比之下,很多公司只能够提供代理商模式的技术支持,难以解决复杂的技术问题,更不能提供研发的相关支持工作。

灵活:用户在项目实施前不一定能够提出所有的需求细节,而在实施和运营过程中经常提出一些新的需求。北方数据高水平的研发团队可根据用户提出的具体需求提供高效率的定制开发与服务。

尽心:北方数据把每一个客户都当成重要的合作伙伴,通过尽心尽职的服务建立起长期的平等互利的伙伴关系,共同成长。

 


上一篇:无下一篇:无
官方微信 手机云网站
友情链接
全球预订中心: 4006-971-972
 版权所有: ©2013 - 2016 无锡北方数据计算股份有限公司
犀牛云提供企业云服务