一、研究背景与数据集价值

1.1 车内语音交互的痛点与粤语场景特殊性

随着智能座舱普及，语音交互成为核心功能，但车内环境存在多重挑战：发动机噪音、风噪、路噪叠加导致信噪比（SNR）普遍低于10dB；用户指令多为短句（如“打开空调”“导航到机场”），需低延迟响应；方言使用频繁，粤语作为中国第三大方言，覆盖超1.2亿人口，其音调复杂（六声九调）、词汇独特（如“嘅”“噉”），传统普通话模型难以适配。

现有公开数据集（如LibriSpeech、AISHELL）存在两大局限：一是以标准普通话或英语为主，缺乏粤语专项数据；二是场景多为安静实验室环境，未覆盖车内复杂声学条件。CI-AVSR的提出填补了这一空白，其核心价值在于：

• 场景适配性：模拟真实驾驶场景，包含高速（120km/h）、城市拥堵（30km/h）、隧道等典型噪声环境；
• 语言针对性：覆盖粤语口语化指令（如“调低风量啲”“揸车去深圳湾”），包含2000+独特词汇；
• 多模态融合：同步采集音频与唇部视觉信号，支持声学-视觉联合建模。

1.2 数据集设计理念

CI-AVSR采用“场景-语言-模态”三维设计框架：

• 场景维度：按车速（低速/中速/高速）、车窗状态（开/关）、空调状态（开/关）划分12种子场景，每种场景录制30分钟数据；
• 语言维度：邀请20名粤语母语者（10男10女，年龄20-50岁）录制指令，涵盖导航、娱乐、车控三大类共500条指令，每条指令重复3次（不同语速/语调）；
• 模态维度：使用双声道麦克风（采样率16kHz，位深16bit）采集音频，同步通过车内摄像头（720P，30fps）记录说话人唇部区域（ROI大小为120×120像素）。

二、数据集技术细节与挑战

2.1 数据采集与标注流程

数据采集在真实车辆（丰田凯美瑞）中进行，流程如下：

1. 设备校准：使用B&K 4189麦克风校准车内声压级，确保不同场景下录音电平一致；
2. 指令录制：通过平板电脑展示指令文本，说话人自然朗读，系统自动记录时间戳；
3. 噪声注入：在安静录音基础上，叠加预先录制的车内噪声（发动机、风噪、胎噪），SNR范围覆盖0-15dB；
4. 多模态对齐：使用FFmpeg同步音频与视频流，误差控制在±10ms内；
5. 标注规范：音频标注采用Praat工具标记音素边界，视频标注使用Dlib提取68个唇部关键点。

技术挑战：

• 噪声鲁棒性：高速场景下胎噪频率（500-2000Hz）与粤语元音频率重叠，导致传统MFCC特征失效；
• 多模态同步：唇部运动延迟（约200ms）需通过时序对齐算法修正；
• 方言变体：同一指令存在多种表达（如“开冷气”与“打冷气”），需构建同义词库。

2.2 数据集规模与结构

CI-AVSR总规模达120小时，包含：

• 训练集：80小时（400说话人，SNR 5-15dB）；
• 验证集：20小时（100说话人，SNR 0-10dB）；
• 测试集：20小时（100说话人，含5%带口音样本）。

数据分布如下表：
| 场景类型 | 占比 | 平均SNR | 指令类型分布 |
|————————|———|————-|——————————|
| 高速+车窗开 | 25% | 8dB | 导航（40%） |
| 城市拥堵+空调开| 30% | 12dB | 娱乐（35%） |
| 隧道+车窗关 | 15% | 5dB | 车控（25%） |
| 静态（对照） | 30% | 15dB | 混合 |

三、实验验证与结果分析

3.1 基准实验设置

实验采用Kaldi工具包，基线系统配置如下：

• 声学模型：TDNN-F（时间延迟神经网络+因子化分解）；
• 语言模型：4-gram粤语语言模型（词汇量50K）；
• 解码参数：beam=15，lattice-beam=6。

对比实验包括：

1. 单模态（音频）：仅使用MFCC特征；
2. 多模态（音频+视觉）：融合唇部关键点（PCA降维至32维）与MFCC；
3. 数据增强：在训练集中加入Speed Perturbation（±10%语速变化）与SpecAugment（时间/频率掩蔽）。

3.2 关键实验结果

在测试集上，各系统词错误率（WER）如下：
| 系统类型 | 安静环境 | 中等噪声（10dB） | 强噪声（5dB） |
|—————————|—————|—————————-|———————-|
| 单模态基线 | 8.2% | 21.5% | 43.7% |
| 多模态基线 | 7.5% | 18.3% | 36.2% |
| +数据增强 | 6.9% | 15.1% | 31.8% |
| CI-AVSR最优系统 | 5.7% | 12.4% | 28.1% |

结果分析：

• 多模态系统在强噪声下相对单模态提升15.6%，证明视觉信息对声学噪声的补偿作用；
• 数据增强技术使中等噪声场景WER降低3.2%，但过度增强（如>20%语速变化）会导致性能下降；
• 方言变体处理通过同义词扩展使测试集覆盖率提升9%，但需注意过度泛化风险。

四、对开发者的实践建议

4.1 数据集使用指南

1. 预处理步骤：

   import librosa
   import cv2
   def load_ciavsr_sample(audio_path, video_path):
       # 加载音频（16kHz, 16bit）
       y, sr = librosa.load(audio_path, sr=16000)
       # 加载视频帧（提取唇部ROI）
       cap = cv2.VideoCapture(video_path)
       ret, frame = cap.read()
       lip_roi = frame[100:220, 200:320]  # 根据标注文件调整坐标
       return y, lip_roi

2. 场景适配训练：建议按SNR分段训练（0-5dB/5-10dB/10-15dB），避免全量数据混合导致的模型偏置。

4.2 模型优化方向

• 噪声鲁棒性：尝试频谱减法（Spectral Subtraction）或深度学习去噪（如SEGAN）；
• 多模态融合：使用Transformer架构替代传统DNN，捕捉音视频长时依赖；
• 方言适配：构建粤语-普通话音素映射表，利用迁移学习减少标注成本。

4.3 部署注意事项

• 实时性要求：车内系统需满足<300ms端到端延迟，建议量化模型（如INT8）并使用硬件加速（如NVIDIA Drive）；
• 隐私保护：视频数据需脱敏处理，仅保留唇部区域；
• 持续学习：通过用户反馈循环优化模型，适应不同驾驶者的语音特征。

五、结论与展望

CI-AVSR数据集通过场景化、多模态、方言专用的设计，为车内粤语语音识别提供了高价值基准。实验表明，其最优系统在强噪声场景下WER较基线降低35.6%，验证了数据集的有效性。未来工作可探索：

1. 扩展至更多方言（如潮汕话、客家话）；
2. 融入驾驶员状态监测（如疲劳检测）；
3. 结合车外环境音（如救护车警报）提升安全性。

对于开发者而言，CI-AVSR不仅是训练数据，更是理解车内语音交互复杂性的重要工具。建议从场景细分、多模态融合、实时优化三个维度切入，构建更具竞争力的智能座舱语音方案。