音声認識技術の最前線で、杭州电子科技大学と上海交通大学の研究チームが無監督学習を用いた音声強化手法「UnSE+」を発表しました。この技術は、ノイズを含む音声から干渉を抑え、音声信号の感知品質と理解性を高めることを目的としています。
UnSE+の特長
UnSE+は、従来のSE（Sound Enhancement）手法とは異なり、ペアリングされたノイズ音声とクリーン音声の訓練データが不要です。また、従来の監督学習メソッドに匹敵する、時にはそれ以上の性能を発揮します。
主な特徴
-
無監督学習による音声強化：UnSE+は、ペアリングされた訓練データなしでモデルをトレーニングします。これは、実際のアプリケーションシーンでペアリングされたデータが難しく、または実現困難な場合に特に有利です。
-
最適輸送理論と音声存在確率（SSP）：UnSE+は、最適輸送理論に基づき、音声強化を無監督学習問題と構築します。さらに、音声存在確率を最適化の対象とし、トレーニングプロセスの安定性を高めます。
-
STFT域とMS-STFT域の損失関数：UnSE+は、短時フーリエ変換（STFT）域損失関数を無監督トレーニング損失関数の追加構成要素として使用し、マルチスケールSTFT（MS-STFT）損失関数を検証損失関数として使用します。これにより、モデル性能が更に向上します。
研究背景
現実世界の中の音声シグナルは、加性ノイズの影響を受けやすく、有効情報を認識することが困難です。音声強化技術は、音声情報の伝送品質を高め、人機交渉や人間のコミュニケーションの正確さと効率性を確保する役割を果たします。
研究問題
従来のDNN（深層神経ネットワーク）に基づく音声強化モデルは、監督学習の下で訓練されますが、これには数百から数千時間の合成ノイズクリーン音声トレーニングデータが使用されます。しかし、合成ノイズ音声は現実世界の特定の環境のみを正確に表すことができ、トレーニングデータと実際のテストデータとの間に領域不一致が生じると、SEモデルの性能が大幅に低下する可能性があります。
研究方法
UnSE+は、生成対抗ネットワーク（GAN）構造を採用しており、生成器（Generator）にはU-Netアーキテクチャを用いており、判別器（Discriminator）には異なるネットワーク構造を採用しています。最適輸送問題を通じて、ノイズ音声の分布をクリーン音声の分布に変換することが目標です。
実験結果
UnSE+は、基準データセット（VCTK + DEMAND）において優れた性能を示し、監督学習メソッドに比肩する、時にはそれ以上の結果を達成しました。特に、低い信噪比（SNR）の条件下で、提案された方法は特に優れた性能を発揮しました。
結論
UnSE+は、無監督学習を用いた音声強化手法として、ペアリングされた訓練データなしでモデルをトレーニングできるという利点を持ち、従来の監督学習メソッドに匹敵する性能を発揮します。この技術は、音声認識システムの性能向上に大きく貢献する可能性があります。
参考文献
- Y.-H. Tu, J. Du, and C.-H. Lee, “Dnn training based on classic gain function for single-channel speech enhancement and recognition,” in Proc. IEEE ICASSP. Brighton, United Kingdom: IEEE, May 2019, pp. 910–914.
- W. Jiang, F. Wen, Y. Zhang et al., “Unse: Unsupervised speech enhancement using optimal transport,” in Proc. ISCA Interspeech. ISCA, Aug. 2023, pp. 4029–4033.
- I. Cohen and B. Berdugo, “Speech enhancement for non-stationary noise environments,” Signal processing, vol. 81, no. 11, pp. 2403–2418, 2001.
- W. Jiang, Z. Liu, K. Yu et al., “Speech enhancement with neural homomorphic synthesis,” in Proc. IEEE ICASSP. IEEE, 2022, pp. 376–380.
この研究は、無監督学習を用いた音声強化技術の分野において重要な一歩を踏み出しています。UnSE+は、音声存在確率を活用し、音声信号の質を向上させるための新たな可能性を示すとともに、音声認識技術の進歩に貢献するでしょう。
