集群环境下海量地震数据加载方式的创新模式

[摘 要] 21世纪可以称为“大数据”（Big data）时代，随之而来的是数据仓库、数据安全、数据分析、数据挖掘等技术。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

[关键词] 集群环境；数据加载；创新

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2016. 07. 084

[中图分类号] TN919.5 [文献标识码] A [文章编号] 1673 - 0194（2016）07- 0184- 01

1 引 言

目前，在石油勘探开发领域，产生了海量的地震数据，对这些海量地震数据的重新处理挖掘产生了巨大的经济效益。例如，徐家围子探区，共有28个地震区块，7 348平方千米，总数据大约30 TB，2006年开始重新连片处理，找到天然气储量1 000亿立方米。石油地震数据挖掘工作的第一步就是数据整理和加载工作。

2 地震原始数据加载的传统方式

大庆研究院地震处理系统传统的数据准备流程是地震用户提出“加载工区原始数据申请”，经有关领导批准后，由计算机室磁带组工作人员先找到原始带，拷贝后借给处理编码员，编码员需要一盘盘的将带加到主机房带机上，并使用处理软件将数据加载到处理系统中，数据加载完后将带归还磁带库。

这种数据加载方式的缺点，一是处理系统主机上要连接磁带机，编码员依靠多种处理软件进行加载。二是手续烦琐，自动化水平低，加载速度慢，编码员劳动强度大，例如，一盘3480地震原始记录磁带，容量为200 MB，加载到处理系统大约需要15分钟，一个地震区块平均2 000盘磁带，为了完成科研生产任务，几十个GB的数据就要加载几天几夜才能完成。

随着勘探开发技术的发展和勘探力度的加大，地震勘探仪器的不断更新换代，使野外采集覆盖次数不断增加，接收道数不断增多，产生了海量的野外原始数据。初步统计，大庆油田近三年的数据量是前二十年数据量的四倍。同时，新的高性能CPU/GPU集群时代出现，高效地推进了高精度、大规模地震资料处理技术的发展，推进了勘探海量地震数据的深度挖掘，单靠原有的处理系统主机挂接有限的十台老旧磁带机方式进行数据加载，根本无法完现今每年50多TB原始数据加载任务，必须采取新的数据集中加载模式。

3 海量数据准备集中加载的创新方式

3.1 搭建海量地震数据准备专网

以往，地震磁带库主要是负责野外原始数据的保存，带库的微机转储系统都是独立的内网，和处理机房不通，要想直接加载到高性能集群系统中，首先必须要与地震处理专网搭建一条通道，建立地震数据准备专网，这样在磁带库安装一台新的CISCO 2970千兆交换机，下联转录系统共七台微机，通过光纤上联到主机房地震处理专网的Foundry 424千兆光纤交换机，与整个地震处理系统形成一体。

3.2 PC-NFS文件系统与集群文件系统异构平台共享

通过对几种开源软件的试验， Maestro Client 8.0的PC-NFS性能稳定，具有计算机网络系统所具有的基本功能，并能够帮助用户访问熟悉的Windows微机环境中的远程数据，而不需关心文件的物理位置。为此，选择该软件作为Windows微机上的PC-NFS文件系统软件平台，并结合地震数据准备与机房内的各种版本linux操作系统情况，通过编写客户端安全监控进程，对远程访问用户进行严格管理，建立了全新的数据准备工作方式，实现了地震数据准备从数据加载软件到所有处理系统的一步到位。

3.3 网络环境下海量数据集中加载负载均衡技术应用

创新的数据加载方式，用户提出“加载工区原始数据申请”，经有关领导批准后，磁带组工作人员利用GDCS地震数据转储系统、Seisco地震数据磁带拷贝转录系统等专用软件直接将原始地震数据加载到集群环境下的存储数据盘上，供处理人员使用。

4 实际应用效益情况

通过搭建专用数据准备网络环境，运用PC-NFS文件系统搭建了微机与集群存储系统之间跨平台数据共享通道，编写用户级信息安全守护程序，在国内石油行业首家实现了集群环境下海量地震数据的直接加载。

新数据集中加载工作方式的改革，使得数据准备速度提高了18倍，并解决了2006年HP大规模集群系统引进投产后地震数据的输入问题，节省新集群外部设备磁带机引进资金163万元；节省用于磁带拷贝的空白带80 246盘，每盘按60元计算，合人民币481万元；2006年运用新的加载方式总计为地震加载55 TB原始数据，为A1项目加载10 TB数据，节约加载工期17 195小时，节省机时费812万元。仅2006年一年总计节约1 456万元人民币。

5 结 语

这项技术的使用彻底改变了传统的工作方式，真正做到了数据准备工作的高效、快捷、安全、稳定，自投入生产以来，已经在徐家围子大连片、常家围子大连片、喇嘛甸全数字高密度、长垣萨尔图高密度等地震处理中推广应用。到目前为止，运用新技术为地震用户加载原始数据量达到1 000 TB以上，不仅创造了巨大的经济效益，也为油田今后大数据重新挖掘处理做了先导性探索，充分挖掘大数据中的最大价值，具有重要意义。