大数据背景下的信号处理

内容需要下载文档才能查看

中国科学:信息科学2013年第43卷第12期:1525–1546

http://wendang.chazidian.com

中国科学院学部科学与技术前沿论坛

信号与信息处理专刊

大数据背景下的信号处理

谢维信x?,陈曾平y,裴继红x,黄建军x,冯纪强x

x深圳大学智能信息研究所,深圳518060

y国防科技大学ATR重点实验室,长沙410073

*通信作者.E-mail:wxxie@http://wendang.chazidian.com

收稿日期:2013–06–18;接受日期:2013–08–27

国家自然科学基金(批准号:61071206,61271107)和国防预研基金(批准号:9140-9302,9140-0283)资助项目

摘要宽带信号、高维信号、高分辨信号以及多传感器组网技术的快速发展,使得信号采集数据增长率高于数据存储增长率和信号处理速度增长率,信号处理进入了大数据时代.本文指出了大数据背景下的信号处理的关键问题.对于多传感器组网具有的多样性和复杂性的海量信号数据,必须进行信息融合,本文介绍了信号融合的主要模型方法,分析了信息融合技术的发展趋势.智能传感网技术能降低对信号处理和通信容量的要求,有效地在大数据中提取有价值数据.本文给出了智能传感器的基本结构,阐述了智能传感器的计算方法.结合大数据容量信号对高速实时处理的要求,介绍了高速数字信号处理芯片以及高性能硬件平台发展现状,展望了高速信号处理核心技术的发展动向.关键词信号处理大数据智能传感网信息融合高速信号处理

1引言

信号处理研究信号构造和分析,信号采集、滤波、编码、传输、检测、估值、预测、显示、识别、合成、重构等方面的理论、方法和技术.信号处理正在从传统的应用领域进入到天文、能源、金融、地理科学、安全保障以及社会网络等多个新领域.近30年来,信号处理的理论、方法和技术一直在发展、扩充和深化.随着信号处理理论、硬件技术和系统技术的进步,信号现已进入大规模、多样化的采集时代.

从表现形式来看,信号的形式由单一到丰富多彩.当前的信号在传统物理表现形式的基础上,出现了丰富多彩的信号形式,例如音频信号、视频信号、语言信号、图像信号、多媒体信号、传感器信号、通讯信号、地理信号、声纳信号、雷达信号、化学信号、分子信号、基因信号、生物信号、医学信号、音乐信号等等.从信号带宽来看,信号由窄带信号扩展到宽带信号,比如窄带雷达信号带宽为1?5MHz,而宽带雷达的带宽可高达8GHz.在太赫兹频段,信号脉冲可为单周期信号,其带宽可高达1THz以上.从维度来看,信号由一维信号发展到高维信号.医疗、多光谱遥感图像等高维信号,具有大数据量.例如数字化可视人是将人体断面信息重建成人体的三维立体图像,相应的数据量高达131Gb;高光谱图像的数据量十分庞大,规格为614×512×224的AVRIS图像的高光谱单元立方体数据超700Mbits.从分辨率来看,信号从低分辨率信号发展为高分辨率信号.视频产品的分辨率和帧频都在都不断升高,如美国IMPERX高达2900万像素的高速相机的分辨率为6576×4384,帧频为

谢维信等:大数据背景下的信号处理

ProcessingCommunication

Storage

Information

Information

ProcessingCommunication

Storage

图1

Figure1

信号处理瓶颈问题的转移

Theperformancebottleneckofsignalprocessing

2.4fps,输出数据率高达每秒1.1Gb;目前,数码相机传感器的价格已低于1美元/万像素;高采样率和

高分辨率ADC的使用产生出更大的数据量,如Intersil公司的ISLA216P25,采样频率达250MHz,分辨率达16位,单通道数据率为每秒4Gb.从采集方式来看,信号采集从单一传感器到信号采集网络化.目前,遍布全国各地的传感探头多达1000万个以上;据预计,2015年中国传感器网产业市场规模将达到7500亿元,年复合增长率将超过30%,分布于安防、交通、电力、医疗、环境、金融等多个方面.信号在带宽、维数、分辨率以及采集网络化上的快速发展,使得信号采集数据增长率高于数据存储增长率和信号处理速度增长率.例如,美国地面实时广域监视成像系统具有1.8千兆像素的数码相机,每台摄像机覆盖160平方公里,具有30厘米地面分辨率.若以每秒15帧的速度获取视频,则产生的原始数据速率为每秒770Gb,而到达地面站的无线通信链路的最大速率是每秒274Mb.信号处理进入了大数据时代.在以往,信号处理研究人员研究解决的一个主要问题是“信号采集瓶颈”:传感器系统采集的信号量太少,使后续信息提取和解释变得困难和复杂.为此,信号处理工作者一直在两个方面开展工作,用更少的数据来做尽量多的事,以及设法采集到更丰富的信号数据.在大数据背景下,信号处理的瓶颈已由“信号采集量太少”转移到“如何对海量信号数据进行高速有效处理”(见图1)[1].从数据缺乏转变为数据丰富,大数据背景下的信号处理,需要研究4个方面的关键问题(见图2):(1)感知压缩,以降低信号的数据量;(2)多传感器信息融合,以处理复杂多源信息;(3)智能传感网技术,以提取有价值信号;(4)高速信号处理,以提高信号处理速度.

2

2.1

多传感器信息融合

多传感器组网系统

多传感器组网系统从军事领域应用开始,现已应用到智能交通与智能车辆系统、智能机器人、医

1526

中国科学:信息科学第43卷第12期

图2

Figure2大数据背景下的信号处理Signalprocessinginthecontextofbigdata

学成像与诊断、安全监测、对地遥感、复杂工业过程控制以及农业工程等多个领域.

多传感器组网系统产生出海量数据.以军事领域为例,导弹防御系统是一个典型的数据链系统,其感知传感器分布于陆、海、空、天、电磁五维空间中,感知平台呈现出种类多和密度大的特点.其中,天基平台含包星载雷达、导弹预警卫星、电子侦察卫星、气象卫星等;临空平台包含平流层太阳能无人机、平流层飞艇、自由浮动气球等;空基平台包含预警机、有人侦察机、无人侦察机等;海基平台包含水面舰艇雷达、电动侦察船、潜艇传感器、舰艇传感器等;陆基平台包含地面雷达网、无线电子技术侦察网、对空观察哨网、战斗数字照相机、震波阵列,声波阵列等.天基平台、空基平台、海基平台、陆基平台下的多种传感器必然带来海量的大数据,并且这些数据是不断更新的.对这类数据链系统需要建立数据传输率高于100Gbit/s的通信链路,才能满足预警要求.

各种平台上的多类传感器采集到大量信号数据,内容丰富,彼此能够互补.就单一传感节点而言,大部分数据的准确度都不到95%.各个传感器提供的数据都可能存在信号数据类型不同、结构不一、尺度不同、格式矛盾、重复冗余、内容残缺、局部稀疏、精度有误等问题.为了从大量、多类的信息中提取有用、实时、精确的信息,用以判定对象的属性和特征,就必须对来自多种信号源的数据进行信息融合.

2.2信息融合模型方法

经过近30年的发展,已形成5个主要的信息融合模型方法.

(1)JDL数据融合模型.

JDL模型[2,3](见图3)已成为美国国防信息融合系统的一种实际标准.JDL模型把数据融合分为5级:第0级对多类传感器原始测量信号进行预处理,以联合检测弱信号目标(如:隐身目标、机动目标);第1级为目标识别;第2级为态势评估,根据第1级处理提供的信息构建态势图;第3级为威胁评估,根据可能采取的行动来解释第2级处理结果,并分析采取各种行动的优缺点;过程优化实际是一个反复过程,称为第4级,它在整个融合过程中评估和监控系统性能,识别潜在的新增信息源,以及传感器的优化部署.其他的辅助支持系统包括数据管理系统、存储、检索预处理数据和人机界面等.

(2)Boyd控制环.

Boyd控制环[4](见图4)即观测、定向、决策、执行环.它包括4个处理阶段:(1)观测,获取目标信息;(2)定向,厘清态势;(3)决策,制定反应计划;(4)行动,执行计划,和JDL模型相比,该环考虑了

1527

谢维信等:大数据背景下的信号处理

Data fusion domain

Level 0processing

ExternalDistributedLocalSensorsDocumentsPeople...

Data storesSOURCES

Human/computer interface

Database managementsystemSupportdatabase

Fusiondatabase

Sub-objectassessment

Level 1processingObjectassessment

Level 2processingSituationassessment

Level 3processingImpactassessment

Level 4processingProcessrefinement

图3

Figure3

JDL数据融合模型

JDLdatafusionmodel

Decide

Orientate

Act

图4Boyd回路

Boydloop

Figure4

决策效能问题.该环的优点是它使各个阶段构成了一个闭环,表明了数据融合的循环性.随着融合阶段不断递进,传递到下一级融合阶段的数据量不断减少.但是控制环模型决策和执行阶段对环的其他阶段的影响能力欠缺,并且各个阶段也是顺序执行的.

(3)瀑布模型.

信息融合瀑布模型[2]如图5所示,它重点强调了较低级别的处理功能,它的传感和信号处理、特征提取和模式处理环节相对应于JDL模型的第1级,而态势评估和决策制定分别对应于DJL的第2,3,4级.瀑布模型的融合过程划分得很详细,但是各个过程之间没有反馈.

(4)Dasarathy模型.

Dasarathy模型[2]包括有5个融合级别,如图6所示.综上可以看到,瀑布模型对底层功能作了明确区分,JDL模型对中层功能划分清楚,而Boyd回路则详细解释了高层处理.而Dasarathy模型是根据融合任务或功能加以构建,因此可以有效地描述各级融合行为.

(5)混合模型.

瀑布模型[2,3]对底层功能作了明确区分,JDL模型对中层功能划分清楚,而Boyd模型则详细解

1528

Observe

中国科学:信息科学第43卷第12期

InterrogationDescription of stateFeaturesProcessed signal

Decision making

Situation assessmetPattern processing

Level 3Level 2

Controls

Feature extraction

Pre-processing

Signal

Sensors

Level 1

图

5

Figure5

瀑布模型

Waterfallmodel

图6Dasarathy模型

DDF

model

Figure6

Soft decision fusion

fusion

Pattern processigFeatureextraction

Signal processingSensing

Sensormanagement

图7

Figure7

混合模型

The“omnibus”processmodel

释了高层处理.而Dasarathy模型是根据融合任务或功能加以构建.混合模型综合了Boyd环的循环特性和Dasarathy模型的反馈迭代特性,同时应用了瀑布模型中的定义,每个定义又都与JDL和Dasarathy模型的每个级别相联系,如图7所示.

2.3

信息融合技术的发展趋势

多传感器网络构成一个大数据系统,各种传感器提供的信息具有复杂性和多样性.这些信息具有多种不同的特性,可以是时变的或非时变的、实时的或非实时的,可以是不同质的、异构的,互斥的或互补的,而且会具有随机不确定性和模糊不确定性.对于传感器提供的海量的和多样化的信息,只有通过信息融合的方法,才能实现对多样化的信息协调使用,在时空上把互补和冗余的信息进行优化处理,从而准确判定观测对象的属性和本质,并提高整个系统的效能.

信息融合的方法选择与应用密切相关,目前使用的主要数学方法有:卡尔曼滤波方法、非线性滤波方法、贝叶斯估计法、证据理论方法、模糊推理方法、随机集理论方法等[5].目前尚没有数学工具

1529