面向智能机器人的Teager语音情感交互系统设计与实现

第３４卷第８期

２０１３年８月仪器仪表学报Ｖ０１．３４Ｎｏ．８Ａｕｇ．２０１３ＣｈｉｎｅｓｅＪｏｕｍａｌｏｆＳｃｉｅｎｔｉｆｉｃＩｎｓｔｒｕｍｅｎｔ

面向智能机器人的Ｔｅａｇｅｒ语音情感

交互系统设计与实现

李翔１，李昕１”，胡晨１，卢夏衍１

（１．上海大学机电工程与自动化学院上海２０００７２；２．哈尔滨工业大学机器人技术与系统国家重点实验室哈尔滨１５０００１）摘要：自从Ｍａｒａｇｏｓ首先提出了Ｔｅａｇｅｒ能量算子（ＴＥＯ）后，该算子得到了一系列应用。Ｔｅａｇｅｒ能量算子的非线性特性，使之能在抑制背景噪声的同时进行信号特征的有效提取。它还保留了倒谱分析方法中的准稳态假设，因而更能有效地表征语音信号的复杂性。探索了基于Ｔｅａｇｅｒ能量算子的非线性特征对于区分情感语音的有效性，并且进一步将其和普通的声学参数和音质参数相结合，以应用于语音情感的识别中。以ＨＭＭ和ＧＭＭ为分类器，选取７种情感设计了４组对比实验，达到最高８５％的识别正确率。实验结果表明，将传统的语音情感特征和Ｔｅａｇｅｒ能量算子的非线性特征相结合，能显著地提高语音情感识别系统的性能。在此基础上，提出了智能情感机器人进行情感交互的框架，设计实现了智能服务机器人的情感交互系统，经过实时情感交互实验验证，该智能服务机器人可以很好地与交互对象进行简单的情感交流。

关键词：Ｔｅａｇｅｒ能量算子；非线性特征；智能机器人；语音情感交互系统

中图分类号：ＴＦ３９１．４２文献标识码：Ａ国家标准学科分类代码：５２０．２０

Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｓｐｅｅｃｈｅｍｏｔｉｏｎｉｎｔｅｒａｃｔｉｏｎ

ｏｎｓｙｓｔｅｍｂａｓｅｄＴｅａｇｅｒｆｏｒｉｎｔｅｌｌｉｇｅｎｔｒｏｂｏｔ

ＬｉＸｉａｎ９１，ＬｉＸｉｎｌ”，ＨｕＣｈｅｎｌ，ＬｕＸｉａｙａｎｌ

（Ｊ．ＳｃｈｏｏｌｏｆＭｅｃｈａｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ＆Ａｕｔｏｍａｔｉｏｎ，ＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００７２，Ｃｈｉｎａ；

２．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＲｏｂｏｔｗｓａｎｄＳｙｓｔｅｍ，ＨａｒｂｉｎＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５０００１，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：ＳｉｎｃｅＭａｒａｇｏｓｆｉｒｓｔｌｙｐｕｔｆｏｒｗａｒｄｔｈｅＴｅａｇｅｒｅｎｅｒｇｙｏｐｅｒａｔｏｒ（ＴＥＯ），ｔｈｅ

ｃａｎｏｐｅｒａｔｏｒｈａｓｇｏｔａｓｅｒｉｅｓｏｆａｐｐｌｉ－ｃａｔｉｏｎｓ．ＴｈｅｎｏｎｌｉｎｅａｒｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅＴｅａｇｅｒｅｎｅｒｇｙｏｐｅｒａｔｏｒ

ｔｉｎｇｂａｃｋｇｒｏｕｎｄｎｏｉｓｅ

ａｎｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｅｘｔｒａｃｔｓｉｇｎａｌｆｅａｔｕｒｅｗｈｉｌｅｉｎｈｉｂｉ—ａｔｔｈｅｓａｍｅｔｉｍｅ．Ｉｔａｌｓｏｒｅｔａｉｎｓｔｈｅｑｕａｓｉｓｔｅａｄｙｓｔａｔｅａｓｓｕｍｐｔｉｏｎｉｎｃｅｐｓｔｒｕｍａｎａｌｙｓｉｓｍｅｔｈｏｄ，ｍｏｒｅｅｆｆｅｃｔｉｖｅｌｙｒｅｐｒｅｓｅｎｔｔｈｅｃｏｍｐｌｅｘｉｔｙｏｆｔｈｅｓｐｅｅｃｈ

ｏｎｓｉｇｎａｌ．Ｔｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｓｔｈｅｖａｌｉｄｉｔｙｏｆｄｉｓｔｉｎｇｕｉｓ—ｈｉｎｇｅｍｏｔｉｏｎａｌｓｐｅｅｃｈｂａｓｅｄｔｈｅｎｏｎｌｉｎｅａｒｆｅａｔｕｒｅｓｏｆＴｅａｇｅｒｅｎｅｒｇｙｏｐｅｒａｔｏｒ，ａｎｄｃｏｍｂｉｎｅｓｔｈｅｎｏｎｌｉｎｅａｒｆｅａｔｕｒｅｓ

ｔｏｗｉｔｈｔｒａｄｉｔｉｏｎａｌａｃｏｕｓｔｉｃｐａｒａｍｅｔｅｒｓａｎｄｖｏｉｃｅｑｕａｌｉｔｙｐａｒａｍｅｔｅｒｓ，ｗｈｉｃｈａｒｅａｐｐｌｉｅｄ

ＴｈｅＨＭＭａｎｄＧＭＭｗｅｒｅｓｐｅｅｃｈｅｍｏｔｉｏｎｔｏｒｅｃｏｇｎｉｔｉｏｎ．ｕｓｅｄａｓｔｈｅｃｌａｓｓｉｆｉｅｒｓ，ｓｅｖｅｎｋｉｎｄｓｏｆｅｍｏｔｉｏｎｓｔａｔｕｓｗｅｒｅｓｅｌｅｃｔｅｄｄｅｓｉｇｎ４ｇｒｏｕｐｓｏｆｃｏｍｐａｒａｔｉｖｅｅｘｐｅｒｉｍｅｎｔｓ，ａｎｄｔｈｅｈｉｇｈｅｓｔｒｅｃｏｇｎｉｔｉｏｎｒａｔｅｏｆ８５％ｗａｓａｃｈｉｅｖｅｄ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｉｎｄｉｃａｔｅｔｈａｔｃｏｍｂｉｎｉｎｇｔｈｅｎｏｎｌｉｎｅａｒｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｔｈｅＴｅａｇｅｒｅｎｅｒｇｙｏｐｅｒａｔｏｒｗｉｔｈｔｒａｄｉｔｉｏｎａｌｅｍｏｔｉｏｎａｌｓｐｅｅｃｈｆｅａｔｕｒｅｓｃａｎｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｓｙｓｔｅｍｒｅｍａｒｋａｂｌｙ．Ｏｎｔｈｉｓｂａｓｉｓ，ｔｈｉｓｐａｐｅｒｐｕｔｓｆｏｒｗａｒｄｔｈｅｆｒａｍｅｗｏｒｋｏｆｉｎｔｅｌｌｉｇｅｎｔｅｍｏｔｉｏｎａｌｒｏｂｏｔｍａｋｉｎｇｅｍｏｔｉｏｎａｌｉｎｔｅｒａｃｔｉｏｎ，ｄｅｓｉｇｎｓａｎｄｒｅａｌｉｚｅｓｔｈｅｉｎｔｅｌｌｉｇｅｎｔｓｅｒｖｉｃｅｒｏｂｏｔｅｍｏｔｉｏｎａｌｉｎｔｅｒａｃｔｉｏｎｓｙｓｔｅｍ．Ｔｈｒｏｕｇｈｒｅａｌ－ｔｉｍｅｅｍｏｔｉｏｎａｌｉｎｔｅｒａｃｔｉｏｎｅｘｐｅｒｉｍｅｎｔｖｅｒｉｆｉｃａｔｉｏｎ，ｔｈｉｓｉｎｔｅｌｌｉｇｅｎｔｓｅｒｖｉｃｅｒｏｂｏｔｃａｎｍａｋｅｓｉｍｐｌｅｅｍｏｔｉｏｎａｌｃｏｍｍｕｎｉｃａｔｉｏｎｗｉｔｈｉｎｔｅｒａｃｔｉｖｅｏｂｊｅｃｔｓ．

Ｋｅｙｗｏｒｄｓ：Ｔｅａｇｅｒｅｎｅｒｇｙｏｐｅｒａｔｏｒ；ｎｏｎｌｉｎｅａｒｆｅａｔｕｒｅ；ｉｎｔｅｌｌｉｇｅｎｔｒｏｂｏｔ；ｅｍｏｔｉｏｎａｌｓｐｅｅｃｈｉｎｔｅｒａｃｔｉｏｎｓｙｓｔｅｍ

收稿日期：２０１３－０１ＲｅｃｅｉｖｅｄＤａｔｅ：２０１３－０１＋基金项目：机器人技术与系统国家重点实验室开放基金项目（ＳＫＬＳ－２００９－ＭＳ一１０）资助

万方数据

第８期李翔等：面向智能机器人的Ｔｅａｇｅｒ语音情感交互系统设计与实现

１８２７

１

引言

随着机器人技术日臻成熟，智能服务机器人取得令人鼓舞的成就。本田公司开发的ＡＳＩＭＯ机器人，可以行走自如，并可以随着音乐翩翩起舞。日本东京大学研制的“ＨＲＰ－２”智能家庭服务机器人可以为人们端茶递水。在工业及日常生活中，机器人也被广泛地应用，如照顾伤残人士及老弱病人。随着智能服务机器人的发展，人机交互（ｈｕｍａｎ—ｒｏｂｏｔｉｎｔｅｒａｃｔｉｏｎ，ＨＲＩ）已经成为机器人科学和机电一体化领域的重要研究课题’１…。语音交流作为人机交互的主要方式之一，不但能表达语义，还能传递情感信息。在消除人与机器人之间的障碍，实现智能服务机器人的智能化研究过程中，语音的情感识别变成关键技术，这也成为智能服务机器人领域的研究课题之一。

智能服务机器人的人机交互系统有很大的应用潜力，语音交互在其中发挥了巨大的作用ｐ’４，，例如家庭管家机器人ｕ１、佣人机器人Ｓｒｉｋａｎｄｉ∞１、移动机器人＂…。它们只需用语音命令操作就能实现控制，以便对机器人或者计算机了解很少的人使用。

语音情感识别是人机交互和情感计算∽ｏ两大研究方向的重要领域之一。大量研究显示，语音包含了大量体现情感信息的特征参数，包括基频、能量、共振峰频率、频率倒谱系数（Ｍｅｌ

ｆｒｅｑｕｅｎｃｙｃｅｐｓｔｒＭ

ｃｏｅｆｆｉｃｉｅｎｔ，ＭＦＣＣ）等

共几百个特征。Ｍｕｒｒａｙ等人总结了基频、能量、时长等韵律特征，得出了语音音质特征与情感之间的定性关系¨…，使得韵律学特征成为语音情感识别的常用特征。此后，研究者加入共振峰参数来表征语音音质特征，利用线性预测编码（１ｉｎｅａｒ

ｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇ，ＬＰＣ）、ＭｅｌＭＦＣＣ

等…１语音学特征，使得韵律学特征与语音学特征结合识别情感。虽然世界各国的研究人员在语音情感研究的领域取得了许多研究成果，但是如果将所有的这些成果放在一起比较，可以发现大部分的研究人员都是采用韵律特征或者韵律特征的线性组合与变换作为研究对象¨。“１。不过，还是有少数研究人员提出了一些新的特征参数作为研究对象，比如ＧｕｏｊｕｎＺｈｏｕ等人¨副就基于能量的基础上，提出了基于Ｔｅａｇｅｒ能量算子（ｔｅａｇｅｒ

ｅｎｅｖ

ｇＹ

ｏｐｅｒａｔｏｒ，ＴＥＯ）的特征在非线性领域的研究，他们的实

验证明音调是线性特征中最有效的，而基于ＴＥＯ的特征比音调更有效，识别准确率比之音调提高了５％。马永林等人¨钊用基于ＴＥＯ的基频对变异语音进行分类，对特定人平均分类正确率达到了９３．３％，多说话人分类正确率达到８５．８％。ＧａｏＨｕｉ等人Ⅲｏ基于＇ｌＥＯ的非线性特征，采用隐马尔可夫模型（ｈｉｄｄｅｎ

Ｍａｒｋｏｖｍｏｄｅｌ，ＨＭＭ），

在使用汉语语音的条件下，识别悲伤和生气、平静、欢快４种情绪。结果证实结合非线性ＴＥＯ的识别特征ＮＦＤ—

万方数据

Ｍｅｌ、ＡＦ＿Ｍｅｌ、ＤＡＦ

Ｍ

ｅｌ可有效提高情绪识别性能。张

德祥等人Ｈ引利用Ｔｅａｇｅｒ能量算子计算语音信号本征模

态函数的瞬时能量，并对本征模态函数进行系数——峭

度计算，提取信号的统计特征信息用于语音信号的端点检测，取得了良好的效果。但是目前还没有基于Ｔｅａｇｅｒ能量算子的非线性特征和普通的声学参数和音质参数相结合的专门研究，因此还不足以说明ＴＥＯ非线性特征对于情感识别的效果。

本文在ＴＥＯ基频和基于时域ＴＥＯ的Ｍｅｌ倒谱系数的基础上，加入了对于频域ＴＥＯ的Ｍｅｌ倒谱系数的研究，并且将ＴＥＯ的非线性特征和普通的情感特征相结合，以探索在多特征向量下基于ＴＥＯ的非线性特征对语音情感识别的有效性。

２情感特征参数的选取

２．１传统的声学参数及音质参数

情感特征的优劣直接影响到情感最终识别结果的好坏。Ｔａｔｏ从“激发维（Ａｒｏｕｓａｌ）一评价维（Ｖａｌｅｎｃｅ）一强度维（Ｐｏｗｅｒ）”的三维空间情感模型指出，如果提取出反映的情感维数越多的情感特征信息，那么就越能更好地区分情感。Ｐｅｒｅｉｒａ等人¨引的研究表明语音信号的韵律特征同３个情感维度之间具有一定的相关性，其中唤醒度和韵律特征之间的相关性明显。Ｇｏｂｌ、Ｊｏｈｎｓｔｏｎｅ、Ｐｅｒｅｉｒａ等人Ⅲ。的研究证明语音信号中的音质特征在能够很好地表达三维中的“评价维”信息的基础上，还能够部分地反映三维空间情感模型中的“强度维”信息。在证实了Ｐｅｒｅｉｒａ的研究成果的基础上，赵艳等人口ｕ对共振峰等音质类特征进行进一步的研究，发现共振峰等音质类特征与效价维的相关性较强。因此，根据Ｃｏｗｉｅ等人ｍ’的研究结果，为了更好地识别情感，在提取基本的韵律特征参数的同时，本文也考虑与语音的音质特征参数相结合。

提取短时能量（Ｅ）、过零率（ｒ）、基频（册）及其１、２阶差

分、ＭＦＣＣ及其１、２阶差分作为韵律参数，第１、第２、第３共振峰（Ｆ１、Ｆ２、Ｆ３）作为音质参数，将其结合用于ＴＥＯ非线性特征的对比实验中。

２．２

ＴＥＯ的非线性特征参数

传统的线性声学理论认为来自声带的气流在声道内

是以平面波的形式传播，声音的产生主要取决于声道内的激励源位置和声带的振动。而根据Ｔｅａｇｅｒ∞１的研究认为语音的生成是靠声门激励及声道中的涡流共同产生。涡流广泛分布于整个声道内，声道内交互作用的非线性涡流构成了真正的声源。为度量这种非线性过程产生的语音，Ｔｅａｇｅｒ提出了一个能量操作算子ＴＥＯ。Ｍａｒａｇｏｓ等人ｍ３认为，该算子具有非线性能量跟踪信号特性不仅对

１８２８

仪器仪表学报

第３４卷

调幅（ＡＭ）信号的幅包络和调频（ＦＭ）信号的瞬时频率的变化非常敏感，而且对不同类型的信号能清晰显示不同的＇ｌＥＯ结果瞄ｏ。Ｔｅａｇｅｒ和Ｋａｉｓｅｒ提出了非线性能量算子的连续形式：

砂。瞰引２【｝㈤】叫（ｔ）【》（ｔ）】

（１）

式中：砂是连续Ｔｅａｇｅｒ的能量算子（ＴＥＯ），名（ｔ）是一个连续语音信号。Ｋａｉｓｅｒ［２叫给出了其离散形式，茹（ｎ）是离

散语音信号：

Ｉ声［菇（ｎ）］＝石２（ｎ）一髫（ｎ＋１）算（ｎ一１）（２）频域的离散ＴＥＯ形式如下：

?步［茗（Ｄ］＝ｚ２（Ｄ—ｘ（ｆ＋１）ｘ（ｆ一１）（３）

式中：戈（力为频域的各个采样点。

１）ＴＥＯ基频（ＮＴＤ—Ｆ０）

基于Ｔｅａｇｅｒ能量算子的这种特点，在进行情感语音分类时，首先对原始语音信号进行ＴＥＯ变换，然后用自相关法提取基频，从而得到特征参数ＮＴＤＦ０。将非线性的ＴＥＯ引入基频估计后，可以从线性和非线性２个不同的研究角度研究基频的变化¨“。在基音检测时不再针对初始的语音信号，而只是针对信号ＴＥＯ后的非线性能量，通过ＴＥＯ研究声激励源的细微变化规律。经ＴＥＯ作用后的语音信号同原始语音信号具有相同的周期性，而且有实验表明对于情感语音它具有更好的周期性¨“。

２）基于时域／频域ＴＥＯ的Ｍｅｌ倒谱系数

目前ＴＥＯ主要是用于时域中田删，本文从时域和频域２个角度来提取Ｍｅｌ倒谱系数，得到ＮＴＤ—ＭＦＣＣ（ｎｏｎ．

１ｉｎｅａｒｔｉｍｅｄｏｍａｉｎＭＦＣＣ

ｆｅａｔｕｒｅｓ）和ＮＦＤ—ＭＦＣＣ（ｎｏｎｌｉｎ—

ｅａｒｆｒｅｑｕｅｎｅｙｄｏｍａｉｎＭＦＣＣｆｅａｔｕｒｅｓ）。

Ｔｅａｇｅｒ能量算子能在抑制背景噪声的同时，进行信号特征的提取，它也保留了倒谱分析方法中的准稳态假设，因而更能有效地表征语音信号的复杂性。由情感语音特征分析结果可知¨引，与平静时的语音相比，不同情绪下，能量会在不同频段上偏移，使得主要的能量在不同情绪下集中在不同的频段上。愤怒和高兴均表现为能量的加强以及频谱中高频成分的增加。与此相反，悲伤对应于能量的减弱，语速的减慢，以及频谱中高频成分的降低。害怕除了频谱中高频成分的增加外，还包括基频曲线上抖动的加强和语速的加快。这种能量分布的差异经过ＴＥＯ变换后会更加明显。而且有研究表明，在语音信号的频域中，语音信号的谱峰信息（ｐｅａｋｓ）要比谱谷（ｖａｌ—ｌｅｙｓ）信息语音感知方面拥有更大的贡献旧１，因此，基于

频域的ＴＥＯ非线性变换可以强诃能量高时的谱峰信息，

使不同情绪间的语音能量有更加明显的差异，在识别时，系统能更明显地区分。

基于时域ＴＥＯ的Ｍｅｌ倒谱系数ＮＴＤ—ＭＦＣＣ的提取过程是：首先对情感语音分帧、预加重、加汉明窗，对每帧

万方数据

采样点用式（２）计算ＴＥＯ，然后计算ＦＦＴｒ，进而求得功率谱。对谱值进行Ｍｅｌ频域带通滤波（滤波器个数为２４）；对Ｍｅｌ频域滤波器组的输出求自然对数和离散余弦变（ＤＣＴ），从而得到１２阶的ＴＥＯ非线性ＭＦＣＣ特征参数

ＮＴＤ—ＭＦＣＣ。

基于频域ＴＥＯ的Ｍｅｌ倒谱系数ＮＦＤ—ＭＦＣＣ的提取过程为：首先对情感语音分帧、预加重、加汉明窗，计算ＦＦＴ。对各点谱值用式（３）计算ＴＥＯ：对经ＴＥＯ变换后的谱值进行Ｍｅｌ频域带通滤波（滤波器个数为２４）；对Ｍｅｌ

频域滤波器组的输出求自然对数和离散余弦变换（ＤＣＴ），从而得到特征ＮＦＤ—ＭＦＣＣ。两种参数的提取过程分别如图１所示。

图１特征提取结构图

Ｆｉｇ．１Ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｓｔｒｕｃｔｕｒｅｄｉａｇｒａｍ

３实验与结果

本实验的情感语句来自德国柏林情感语音库。选取

Ａｎｇｅｒ？Ｂｏｒｅｄｏｍ、Ｄｉｓｇｕｓｔ？Ｆｅａｒ、Ｈａｐｐｉｎｅｓｓ？Ｎｅｕｔｒａｌ？Ｓａｄｎｅｓｓ

７种情感，每种情感７０句共４９０条语句组成本文的实验数据库。其中有５男５女１０位话者。每种情感随机选取５０句共３５０句组成训练样本集。剩下的每种情感２０句共１４０句组成测试样本集。

本实验是基于连续隐马尔科夫模型的语音情感识别系统ｍ１。选取每个ＨＭＭ模型具有５个状态，高斯混合数为５。为避免分类器训练不确定性对检验结果的干扰，进一步做了在ＧＭＭ分类器下的对比实验，对情感识别的结果进行检验和比较。对于每种情感建立一个ＧＭＭ模型，进行训练。在识别阶段计算测试样本的特征向量在每种情感ＧＭＭ模型下的似然得分，将似然得分最大的ＧＭＭ模型作为识别结果输出。

另外，本文在对实验结果进行统计分析其识别正确率的同时也计算单一情感的误识率。单一情感误识率代表某种情感的被误识率，定义如下：他种情感误识别为此类情感的样本数除以总的测试样本数。单一情感误识率可以更好地反映出哪种情感最容易为其他情感所混淆。

本文设计的４组对比实验如下：

１）选取普通基频（ＦＤ）和ＴＥＯ基频（ＮＴＤ—Ｆ０）作为第１组。检验ＴＥＯ基频对于情感分类的效果。２次实验

第８期李翔等：面向智能机器人的Ｔｅａｇｅｒ语音情感交互系统设计与实现

１８２９

特征参数如下：

①ＦＤ及其１、２阶差分，共３维。②ＮＴＤ＿Ｆ０及其１、２阶差分，共３维。

２）选取普通ＭＦＣＣ和基于时域／频域ＴＥＯ的Ｍｅ］倒谱系数作为第２组。检验基于ＴＥＯ菲线性的ＭＦＣＣ情感分类效果。３次实验的特征参数如下：

①ＭＦＣＣ及其１、２阶差分，共３６维。②ＮＴＤ—ＭＦＣＣ及其１、２阶差分，共３６维。③ＮＦＤｊ涯ＦＣＣ及其１、２阶差分，共３６维。

３）将基频和ＭＦＣＣ相结合作为第３组对比实验。对比ＴＥＯ基频和ＴＥＯ的ＭＦＣＣ与普通的基频和ＭＦＣＣ对于情感分类的效果。３次实验的特征参数如下：

①ＦＤ及其１、２阶差分，ＭＦＣＣ及其１、２阶差分，共

３９维。

多特征向量情感识别特征参数，作为第４组对比实验来检验在多特征向量下ＴＥＯ非线性特征的情感分类性能。３次实验的特征参数如下：

①ＦＤ及其１、２阶差分，ＭＦＣＣ及其１、２阶差分，Ｅ，ｒ，Ｆ１，Ｆ２，ｎ共４４维。

②ＮＴＤ—Ｆ０及其１、２阶差分，ＮＴＤ—ＭＦＣＣ及其１、２阶差分，Ｅ，ｒ，Ｆ１，Ｆ２，Ｆ３共４４维。

③ＮＴＤ—Ｆ０及其１、２阶差分，ＮＦＤ—ＭＦＣＣ及其１、２阶差分，Ｅ，ｒ，Ｆ１，Ｆ２，Ｆ３共４４维。

分别在ＨＭＭ模型和ＧＭＭ模型下完成上述实验，记

录结果如下：

１）ＨＭＭ作为分类器

如表１～４所示，ＴＥＯ基频相比普通基频识别率有所提高，但由于特征维数较低，二者识别率都不高，故不作详细分析。

表１基频特征【３维）

Ｔａｂｌｅ１Ｆｕｎｄａｍｅｎｔａｌｆｒｅｑｕｅｎｃｙ

②ＮＴＤ—ＦＯ及其ｌ、２阶差分，ＮＴＤ—ＭＦＣＣ及其１、２阶差分，共３９维。

＠）ＮＴＤ—ＦＤ及其１、２阶差分，ＮＦＤ—ＭＦＣＣ及其１、２阶差分，共３９维。

４）最后将ＴＥＯ的非线性特征和能量、过零率、第１、第２、第３共振峰参数组成声学参数和音质参数相结合的

表２

Ｔａｂｌｅ２

ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（３－Ｄ）

特征

ＦＤＮ７Ｉ’Ｄ

Ｆ０

总识别正确率（％）

３３．５７３６．４３

ＭＦＣＣ特征（３６维）

ＭＦＣＣｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（３６?ＤＪ

（％）

表３基频及ＭＦＣＣ特征（３９维）

Ｔａｂｌｅ３

Ｆｕｎｄａｍｅｎｔａｌ

ｆｒｅｑｕｅｎｃｙａｎｄ

ＭＦＣＣｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（３９一Ｄ）

（％）

万方数据

１８３０

仪器仪表学报

第３４卷

２）ＧＭＭ作为分类器

如表５～８所示，由于使用ＧＭＭ分类器效果不如ＨＭＭ，而且ＧＭＭ是验证ＴＥＯ的非线性在不同分类器下是否有效，故不列出详细结果。

表５基频特征（３维Ｉ

Ｔａｂｌｅ５Ｆｕｎｄａｍｅｎｔａｌｆｒｅｑｕｅｎｃｙ

较大。达到１０％以上。这是因为ＨＭＭ模型不仅用混合概率密度函数来逼近特征矢量的分布情况，同时ＨＭＭ模型还建立了若干状态，基于Ｍａｒｋｏｖ链的随机过程还可以很好地跟随特征矢量的动态变化。

２）与传统的语音情感特征相比，带有ＮＴＤ—ＭＦＣＣ参数的实验在不同的分类器及不同的特征组合下对识别效果均有一定程度的下降。说明基于时域ＴＥＯ的Ｍｅｌ倒谱系数不是一个有效的特征。而带有ＮＦＤ—ＭＦＣＣ参数的实验在不同的分类器及不同的特征组合下对识别效果均有一定程度的提升，这说明基于频域ＴＥＯ变换的Ｍｅｌ

ｃｈａｒａｃｔｅＨｓｔｉｅｓ（３．Ｄ）

特征

ＦＵＮＴＤ

Ｆ０

总识别正确率（％）

３４．２９３６．４３

表６

ＭＦＣＣ特征（３６维）

ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（３６－Ｄ）

总识别正确率（％）

６２，８６６０．００６５．７１

Ｔａｂｌｅ６ＭＦＣＣ

倒谱系数特征在情感识别中是有效的。故此，以下对带有ＮＦＤ—ＭＦＣＣ参数的特征组合进行详细的分析。

从整体识别正确率出发，以ＨＭＭ为例，４组对比实验中平均识别正确率分别提高了２．８６％、２．１４％、３．５７％和５．７２％。以ＧＭＭ为例，４组对比实验中识别正确率分别提高了２．１４％、２．８５％、３．５７％和２．８６％。从特征维数的角度出发，在ＨＭＭ分类器中，随着特征维数的增大，识别正确率随之上升，频域ＴＥＯ的非线性特征对正确率的提升率也随之增大。尤其是当特征维数较大时（４０维以上），频域ＴＥＯ的非线性特征可以显示出更好的情感区分效果。在ＧＭＭ分类器中，随着特征维数的增大，识别正确率随之上升，但是频域ＴＥＯ的非线性特征对正确率的提升率并不是一直上升的。当特征维数在４０维以上时，正确率的提升率下降。这是因为当特征维数较大时，ＣＭＭ的分类效果相比ＨＭＭ要差。

３）从单一情感误识率的角度出发可以看出，识别正确率较低的情感其误识率也相对较低。在不同的分类器和特征组合下，一般Ａｎｇｅｒ只误识为Ｈａｐｐｉｎｅｓｓ，反之亦然。因此，Ａｎｇｅｒ和Ｈａｐｐｉｎｅｓｓ相对于其他５种情感较为独立。可以比较容易地先将这２类情感从７种情感中区分出来。另外Ｂｏｒｅｄｏｍ和Ｎｅｕｔｒａｌ也较难区分，容易混淆。

４）从单一情感的识别效果Ｈ｛发，取不同分类器下第２、３、４组对比实验中普通情感特征和频域的ＴＥＯ特征的结果共１２组数据，计算每种情感在普通特征下和频域

特征

ＭＦＣＣＮＴＤ—ＭＦＣＣＮＦＤ．ＭＦＣＣ

表７基频及ＭＦＣＣ特征（３９维）

Ｔａｂｌｅ７

Ｆｕｎｄａｍｅｎｔａｌ

ｆｒｅｑｕｅｎｃｙａｎｄＭＦＣＣ

ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（３９－Ｄ）

特征

Ｆ１Ｄ＋ＭＦＣＣ

ＮＴＤ—Ｆ０＋ＮＴＤ—ＭＦＣＣＮＴＤ—Ｆ０＋ＮＦＤ—ＭＦＣＣ

总识别正确率（％）

６６．４３５８．５７７０．００

表８韵徨特征及音质特征结合（４４维）

Ｔａｂｌｅ８Ｃｏｍｂｉｎａｔｉｏｎｏｆｐｒｏｓｏｄｉｃｆｅａｔｕｒｅｓ

ａｎｄｖｏｉｃｅｑｕａｌｉｔｙｆｅａｔｕｒｅｓ（４４－Ｄ）

总识别正确率（％）

７０．００６６．４３７２．８６

特征

阳＋ＭＦＣＣ及Ｅ，ｒ，Ｆｌ，砣，乃ＮＴＤ—ＦＤ＋ＮＴＤ—ＭＦＣＣ及Ｅ，ｒ，Ｆ１，Ｆ２，Ｆ３ＮＴＤ＿Ｆ０＋ＮＦＤ—ＭＦＣＣ及Ｅ，ｒ，Ｆ１，Ｆ２，Ｆ３

１）整体上ＨＭＭ的分类效果较ＧＭＭ要好。当特征维数较低时（３维），ＨＭＭ和ＧＭＭ分类器的识别效果相差不大。当特征维数增大时（３０维以上），识别效果相差

万方数据