网站首页>>行业应用
大庆油田存储系统
大庆油田是我国目前最大的油田，也是世界上为数不多的特大型砂岩油田之一，近年来随着并行计算机、高性能集群技术以及GPU等硬件的快速发展，石油勘探的计算频率也得到了巨大的提升，为满足石油勘探软件的不断变革与推新所带来的存储需求，存储系统就需要针对石油勘探软件算法的特点，开展高性能集群并行存储技术研究，对存储系统进行定制开发，使存储系统能够高效的满足石油勘探计算平台需求，为大庆油田的高性能计算平台构建一个高性能、高可用的存储平台。由于融存在大庆油田一期存储项目中得到了大庆油田用户的广泛好评，特应要针对大庆石油高性能计算平台数据读写特点进行二期存储系统的定制研发，以满足现今计算飞速发展而对存储带来的需求。
挑战
1. 存储系统需针对石油勘探计算平台中多种石油勘探软件的I/O模式进行分析，解决在高性能计算平台中由于计算任务量大、并发度高、随机性强等因素带来的巨大访问压力；
2. 计算平台在计算过程中会产生海量无规则的大小文件，存储系统需高效的支持海量文件的并发访问以及快速检索；
3. 由于石油勘探软件运行模式的多样化，在某段时间内应用平台在访问数据时存在局部性，为使计算任务的效率更高，存储系统需根据应用系统局部性的特点，通过智能缓存技术来加速石油勘探计算应用数据的访问；
4. 由于整个计算平台是面向研究院的各个科研室的共享平台，为防止用户之间发生数据篡改或误删除现象，存储系统需要提供面向多用户的权限管理技术来保证不同任务数据的安全性；
5. 整个计算平台在实际的使用环境中处于7*24*365小时的实时运行环境，存储系统需要提供全局数据高可用机制防止硬件设备损坏导致的数据丢失；
6. 计算平台在实际的使用过程中，随着时间的推移，计算任务规模的不断扩大以及系统硬件设备的更新换代，需要存储系统能够实现不停机在线扩容以及更换老旧设备。
融存集群存储优势：
1. 研发团队有多年研制和实用经验，并在多个行业提供了大量的解决方案和系统方案，支持了国内众多的海量数据用户，积累了丰富的专业知识和技术。针对于不同应用软件，具备很强的研发能力，可根据应用特点针对石油行业的具体需求进行定制研发；
2. 融存存储系统完全采用通用硬件构建，而性能又能极大超越传统的存储系统，是目前业内具有最佳性能价格比的技术和产品，能够为石油勘探行业节约大量的购买和维护成本；
3. 此项目完全针对石油勘探软件应用访问特点进行定制性开发，具有独特的创新性、唯一性和领先性，安全可靠，通过独有的元数据集群技术，高效的分片技术以及数据恢复等技术，具有世界领先的先进性，创新性，完全符合石油勘探计算平台的长期存储需求。
融存集群存储特点：
1. 存储系统无容量上线，可有效支撑单卷300PB以上的存储容量，保证存储系统可满足随着时代的变迁产生的不同需求
2. 独特的元数据调度机制与字节粒度的集群锁机制，可有效支撑数千计算节点同时进行数据处理，并保证所有数据服务器负载均衡与数据的一致性
3. 采用集群的形式架构，可充分利用起系统中每一块磁盘的性能，形成聚合带宽，满足高性能计算环境下的聚合带宽需求
4. 灵活的存储架构，具有故障恢复、故障自动切换、负载均衡等功能；在不影响原有系统的前提下进行计算节点、传输带宽、数据迁移能力、数据存储容量等方面的扩展，可有效支持在线更换存储硬件设备
5. 统一存储管理界面，可以很好的检测系统中所有服务器的硬件故障以及负载情况，可单人单点管理数PB存储容量
融存带来的提升：
1. 融存针对高性能计算研发了独特的数据恢复算法，使整个存储空间利用率高根据石油勘探多用户访问特点，研发独特权限机制，可以动态设置目录达80%，且数据恢复速度比传统RAID机制数据恢复机制提升五倍以上；
2. 容量以及访问权限，完全屏蔽掉由于多用户应用模式存在的安全隐患；
3. 完全针对石油勘探应用访问特点进行定制研发，整个存储平台同时运行多款石油勘探软件，包括Omega、CGG、GeoEast、Agt、闪电等多种处理软件，并在性能上得多种处理软件得到较大提升；
4. 现今整个平台可为用户提供超过60GB/s的聚合带宽，以及6PB的实际使用空间；
5. 在实际平台中，cgg处理软件，使用相同计算节点运行相同作业，原有高端光纤设备存储需要4天完成的作业；融存只需10小时即可完成；