一种基于语音和声纹识别的情绪感知监测方法及系统与流程

本申请涉及人机情感交互，特别涉及一种基于语音和声纹识别的情绪感知监测方法及系统。

背景技术：

1、在当今充满压力的社会环境中，情感咨询变得至关重要。情感咨询可以给客户提供一种情感支持和指导，理解用户的情绪对于心理咨询是至关重要的，有时由于一些客观因素导致心理咨询师不能够很好的理解用户的情绪而影响到咨询的准确性和有效性。因此，有必要提供一种辅助咨询师确定用户情绪的技术方案。

技术实现思路

1、本申请的主要目的为提供一种基于语音和声纹识别的情绪感知监测方法及系统，旨在解决心理咨询师由于一些客观因素不能够很好的理解用户的情绪而影响到咨询的准确性和有效性问题。

2、基于语音和声纹识别的情绪感知监测系统，包括：语音和声纹采集?？?、数据预处理?？?、情绪特征提取?？?、情绪识别与分类?？?、情感训练?？榧扒楦屑嗖饽？?；

3、其中，所述语音和声纹采集?？橛糜诓痘窈头治鲇没У挠镆艉蜕蒲?，并将所述捕获和分析用户的语音和声纹样本发送至数据预处理?？?；

4、所述数据预处理?？榘ㄓ镆舸砟？楹蜕拼砟？?；

5、所述语音处理?？橛糜诨袢∮镆籼卣?，得到语音特征数据；

6、所述声纹处理?？橛糜诨袢∩铺卣?，得到声纹特征数据，并将所述语音特征数据和声纹特征数据发送至情绪特征提取?？?；

7、所述情绪特征提取?？榘ㄓ镆籼卣魈崛〉ピ蜕铺卣魈崛〉ピ?；

8、所述语音特征提取单元用于提取语音样本特征，得到语音特征向量值；

9、所述声纹特征提取单元用于提取声纹样本特征，得到声纹特征向量值，并将所述语音特征向量值和声纹特征向量值发送至情绪识别与分类?？?；

10、所述情绪识别与分类?？橛糜谑侗鹩镆籼卣飨蛄恐岛蜕铺卣飨蛄恐导扒楦蟹治?，得到情感信号，并将所述情感信号发送至情感训练?？?；

11、所述情感训练?？橛糜谘盗非楦行藕拍Ｐ?，得到情感识别结果，并将所述情感识别结果发送至情感监测?？?；

12、所述情感监测?？榘ㄊ凳奔嗖饽？楹头蠢∧？?；

13、所述实时监测?？橛糜谑凳奔嗖馇楦惺侗鸾峁?，得到情感识别结果，并将情感识别结果发送至反馈?？?；

14、所述反馈?？橛糜诜蠢∏楦惺侗鸾峁?，得到用户当前情感状态。

15、作为优选，所述数据预处理?？榛褂糜诙杂镆艉蜕蒲窘薪翟?，得到降噪后的语音和声纹样本数据。

16、作为优选，所述语音特征提取单元用于获取每个时间窗口的语音频谱，从每个时间窗口的语音频谱中提取特征，并将每个时间窗口提取的特征组合成一个特征向量，并对所述特征向量进行数值提取，得到语音特征向量值。

17、作为优选，所述声纹特征提取单元用于获取声纹信号，并将所述声纹信号组合成声纹特征向量，并对所述声纹特征向量进行数值提取，得到声纹特征向量值。

18、作为优选，所述情感训练?？橛糜诮喔鏊鲇镆籼卣飨蛄恐岛投喔鏊錾铺卣飨蛄恐凳淙氲角楦醒盗纺Ｐ椭薪醒盗?，得到情感特征值，其中，情感训练模型的函数为：

19、

20、f表示为情感特征值，y表示为语音特征向量值，s表示为声纹特征向量值；

21、将所述情感特征值与预设的情绪特征进行比对，得到情感识别结果，并将所述情感识别结果发送至情感监测?？?。

22、本申请还提供一种基于语音和声纹识别的情绪感知监测方法，包括：

23、捕获和分析用户的语音和声纹样本发送至数据预处理?？?；

24、获取语音特征，得到计算机可识别的语音特征数据，

25、获取声纹特征，得到计算机可识别的声纹特征数据；

26、提取语音样本特征，得到语音特征向量，

27、提取声纹样本特征，得到声纹特征向量；

28、识别语音特征向量和声纹特征向量及情感分析，得到情感信号；

29、训练情感信号模型，得到情感识别结果；

30、实时监测情感识别结果，得到情感识别结果；

31、反馈情感识别结果，得到用户当前情感状态。

32、作为优选，获取每个时间窗口的语音频谱，得到语音特征向量值。

33、本申请还提供一种基于语音和声纹识别的情绪感知监测系统，包括：

34、捕获?？?，用于捕获和分析用户的语音和声纹样本；

35、第一获取?？?，用于获取语音特征，得到计算机可识别的语音特征数据，

36、第二获取?？?，用于获取声纹特征，得到计算机可识别的声纹特征数据；

37、第一提取?？?，用于提取语音样本特征，得到语音特征向量，

38、第二提取?？?，用于提取声纹样本特征，得到声纹特征向量；

39、识别?？?，用于识别语音特征向量和声纹特征向量及情感分析，得到情感信号；

40、训练?？?，用于训练情感信号模型，得到情感识别结果；

41、监测?？?，用于实时监测情感识别结果，得到情感识别结果；

42、反馈?？?，用于反馈情感识别结果，得到用户当前情感状态。

43、本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述字库升级方法的步骤。

44、本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述字库升级方法的步骤。

45、本申请的有益效果为：通过捕获和分析用户声音中的音频信号，从而得到语音和声纹样本，例如“喜悦”“悲伤”“愤怒”等，再经过处理得到语音声纹特征向量，将其输入到情感训练模型中进行训练，训练完成后，情感训练模型生成情感特征值，并将生成的情感特征值与预设的情绪特征进行比对识别，情感识别结果被发送至情感监测?？?，从而用于情感咨询工作者监测用户的当前情感状态，从而辅助情感咨询工作者对客户作出相对准确的情感分析。

技术特征：

1.一种基于语音和声纹识别的情绪感知监测系统，其特征在于，包括：语音和声纹采集?？?、数据预处理?？?、情绪特征提取?？?、情绪识别与分类?？?、情感训练?？榧扒楦屑嗖饽？?；

2.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述数据预处理?？榛褂糜诙杂镆艉蜕蒲窘薪翟?，得到降噪后的语音和声纹样本数据。

3.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述语音特征提取单元用于获取每个时间窗口的语音频谱，从每个时间窗口的语音频谱中提取特征，并将每个时间窗口提取的特征组合成一个特征向量，并对所述特征向量进行数值提取，得到语音特征向量值。

4.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述声纹特征提取单元用于获取声纹信号，并将所述声纹信号组合成声纹特征向量，并对所述声纹特征向量进行数值提取，得到声纹特征向量值。

5.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述情感训练?？橛糜诮喔鏊鲇镆籼卣飨蛄恐岛投喔鏊錾铺卣飨蛄恐凳淙氲角楦醒盗纺Ｐ椭薪醒盗?，得到情感特征值，其中，情感训练模型的函数为：

6.一种基于语音和声纹识别的情绪感知监测方法，其特征在于，包括：

7.根据权利要求6所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，获取每个时间窗口的语音频谱，得到语音特征向量值。

8.一种基于语音和声纹识别的情绪感知监测装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6-7任一项所述基于语音和声纹识别的情绪感知监测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6-7任一项所述基于语音和声纹识别的情绪感知监测方法的步骤。

技术总结
本申请公开了一种基于语音和声纹识别的情绪感知监测系统，包括：语音和声纹采集?？?、数据预处理?？?、情绪特征提取?？?、情绪识别与分类?？?、情感训练?？榧扒楦屑嗖饽？?；其中，所述语音和声纹采集?？橛糜诓痘窈头治鲇没У挠镆艉蜕蒲?，并将所述捕获和分析用户的语音和声纹样本发送至数据预处理?？?；通过捕获和分析用户声音中的音频信号，再经过处理得到语音声纹特征向量，将其输入到情感训练模型中进行训练，生成情感特征值，情将生成的情感特征值与预设的情绪特征进行比对识别，情感识别结果被发送至情感监测?？?，从而用于情感咨询工作者监测用户的当前情感状态，从而辅助情感咨询工作者对客户作出相对准确的情感分析。

技术研发人员：符健春,黄晓笑
受?；さ募际跏褂谜撸?/b>杭州艺兴科技有限公司
技术研发日：
技术公布日：2024/5/6