基于Matlab实现语音情感识别系统

引言

语音情感识别（Speech Emotion Recognition, SER）作为人机交互领域的重要分支，旨在通过分析语音信号中的声学特征（如音高、能量、语速等）判断说话者的情感状态（如愤怒、快乐、悲伤等）。Matlab凭借其强大的信号处理工具箱和机器学习框架，成为实现SER系统的理想平台。本文将从系统设计、特征提取、模型训练到性能评估，系统阐述基于Matlab的语音情感识别实现方法，并结合实际案例提供可操作的代码示例。

一、系统设计框架

1.1 系统架构

语音情感识别系统通常包含以下模块：

• 数据采集与预处理：录制或加载语音数据，进行降噪、分帧、加窗等操作。
• 特征提取：从语音信号中提取与情感相关的声学特征。
• 情感分类：利用机器学习或深度学习模型对特征进行分类。
• 结果可视化：展示分类结果及模型性能指标。

1.2 Matlab工具选择

• 信号处理：使用audioread、spectrogram、mfcc等函数处理语音信号。
• 机器学习：调用fitcdiscr（判别分析）、fitctree（决策树）、fitcsvm（支持向量机）等分类器。
• 深度学习：通过Deep Learning Toolbox构建LSTM、CNN等神经网络模型。
• 可视化：利用plot、surf、confusionchart等函数展示数据与结果。

二、语音信号预处理

2.1 数据加载与降噪

% 加载语音文件
[y, Fs] = audioread('emotion_speech.wav');
% 降噪（示例：简单阈值去噪）
y_denoised = y .* (abs(y) > 0.1 * max(abs(y)));

说明：通过阈值处理去除背景噪声，保留有效语音信号。实际应用中可结合wiener2（维纳滤波）或spectralSubtraction（谱减法）等更复杂的算法。

2.2 分帧与加窗

frame_length = 0.025 * Fs; % 25ms帧长
overlap = 0.01 * Fs;      % 10ms帧移
frames = buffer(y_denoised, frame_length, overlap, 'nodelay');
% 加窗（汉明窗）
window = hamming(frame_length);
frames_windowed = frames .* window;

说明：分帧将连续语音分割为短时片段，加窗减少频谱泄漏，提高特征稳定性。

三、特征提取方法

3.1 时域特征

• 短时能量：反映语音强度。

  energy = sum(frames_windowed.^2, 1);

• 过零率：区分清音与浊音。

  zero_crossings = sum(diff(sign(frames_windowed)) ~= 0, 1);

3.2 频域特征

• 梅尔频率倒谱系数（MFCC）：模拟人耳听觉特性。

  mfccs = mfcc(frames_windowed, Fs, 'NumCoeffs', 13);

• 频谱质心：描述频谱能量分布。

  [Pxx, f] = periodogram(frames_windowed, [], [], Fs);
  spectral_centroid = sum(f .* Pxx, 2) ./ sum(Pxx, 2);

3.3 时频特征

• 短时傅里叶变换（STFT）：分析频谱随时间变化。

  [S, F, T] = spectrogram(y_denoised, window, overlap, [], Fs);

四、情感分类模型

4.1 传统机器学习方法

4.1.1 支持向量机（SVM）

% 假设X为特征矩阵，Y为情感标签（如1=愤怒，2=快乐）
model = fitcsvm(X, Y, 'KernelFunction', 'rbf', 'Standardize', true);
predictions = predict(model, X_test);

优化建议：通过BayesianOptimization自动调参，或结合PCA降维减少特征维度。

4.1.2 随机森林

model = TreeBagger(50, X, Y, 'Method', 'classification');
predictions = str2double(predict(model, X_test));

优势：随机森林对高维特征和非线性关系具有较强鲁棒性。

4.2 深度学习方法

4.2.1 LSTM网络

layers = [
    sequenceInputLayer(size(X_train, 2))
    lstmLayer(100, 'OutputMode', 'last')
    fullyConnectedLayer(3) % 假设3类情感
    softmaxLayer
    classificationLayer];
options = trainingOptions('adam', 'MaxEpochs', 50);
net = trainNetwork(X_train, Y_train, layers, options);

说明：LSTM适合处理时序依赖的语音特征，需将特征矩阵转换为cell数组格式。

4.2.2 CNN网络

% 将MFCC特征重塑为图像格式（如13xN）
X_train_cnn = reshape(X_train, [13, size(X_train,1)/13, 1, size(X_train,2)]);
layers = [
    imageInputLayer([13 size(X_train,1)/13 1])
    convolution2dLayer(3, 16, 'Padding', 'same')
    reluLayer
    maxPooling2dLayer(2, 'Stride', 2)
    fullyConnectedLayer(3)
    softmaxLayer
    classificationLayer];
net = trainNetwork(X_train_cnn, Y_train, layers, options);

适用场景：CNN擅长捕捉局部频谱模式，适合处理短时语音片段。

五、系统测试与优化

5.1 性能评估指标

• 准确率：accuracy = sum(predictions == Y_test) / numel(Y_test)
• 混淆矩阵：

  confusionchart(Y_test, predictions);

• F1分数：综合精确率与召回率。

5.2 优化策略

• 数据增强：通过变速、加噪等方式扩充训练集。
• 模型融合：结合SVM与LSTM的预测结果。
• 超参调优：使用OptimizeHyperparameters自动搜索最佳参数。

六、实际应用案例

6.1 案例：实时情感识别系统

% 初始化音频设备
recObj = audiorecorder(Fs, 16, 1);
record(recObj);
pause(3); % 录制3秒语音
y_realtime = getaudiodata(recObj);
% 预处理与特征提取
[mfccs_realtime, ~] = mfcc(y_realtime, Fs);
% 预测情感
emotion = predict(net, mfccs_realtime');
disp(['Detected emotion: ', emotion]);

扩展功能：集成GUI界面（appdesigner），实现可视化交互。

七、挑战与解决方案

7.1 常见问题

• 数据不平衡：某些情感样本较少。
  解法：采用过采样（SMOTE）或调整类别权重。
• 跨语种适应性：模型在不同语言中性能下降。
  解法：引入多语种数据集或使用语言无关特征（如基频）。
• 实时性要求：深度学习模型推理速度慢。
  解法：量化模型或使用轻量级网络（如MobileNet）。

八、总结与展望

基于Matlab的语音情感识别系统通过整合信号处理、机器学习与深度学习技术，可实现高效、准确的情感分类。未来研究方向包括：

1. 多模态融合：结合面部表情、文本语义提升识别率。
2. 轻量化部署：将模型转换为C/C++代码（MATLAB Coder）嵌入嵌入式设备。
3. 个性化适配：针对特定用户或场景定制模型。

开发者建议：优先从传统机器学习方法入手，逐步过渡到深度学习；充分利用Matlab的自动化工具（如Classification Learner）快速验证算法。通过持续迭代与优化，可构建出鲁棒性强、实用性高的语音情感识别系统。