语音识别方法、装置、电子设备及存储介质与流程

本技术涉及语音识别，尤其涉及一种语音识别方法、装置、电子设备及存储介质。

背景技术：

1、在语音识别时，对于待识别的语音可能为不同方言的语音，也可能为不同距离的语音(如远场语音和近场语音)，现有技术中，为了能够识别不同方言的语音，通常构建不同的方言包，利用语音所属方言类型对应的方言包对语音进行识别，为了能够识别不同距离的语音，也会分别构建不同距离的识别?？?，但是识别不同方言的语音需要对方言包进行切换，识别不同距离的语音需要对识别?？榻星谢?，影响了语音识别的便捷性。

技术实现思路

1、基于上述需求，本技术提出一种语音识别方法、装置、电子设备及存储介质，能够提高语音识别的便捷性。

2、为实现上述目的，本技术提出如下技术方案：

3、根据本技术实施例的第一方面，提供了一种语音识别方法，包括：

4、对待识别语音的第一语音特征进行设定级别的特征提取处理，得到设定级别的语音特征；所述设定级别包括：帧级别和/或片段级别；

5、基于所述设定级别的语音特征，预测所述待识别语音的属性信息，所述属性信息包括：方言类型信息和语音距离信息中的至少一种；

6、基于所述第一语音特征、所述设定级别的语音特征和所述待识别语音的属性信息，预测所述待识别语音的语音识别结果。

7、可选的，基于所述第一语音特征、所述设定级别的语音特征和所述待识别语音的属性信息，预测所述待识别语音的语音识别结果，包括：

8、对所述第一语音特征和所述设定级别的语音特征进行特征融合，得到融合特征，并对所述融合特征进行编码操作，得到所述待识别语音的编码特征；

9、基于所述待识别语音的属性信息，对所述编码特征进行解码，确定所述待识别语音的语音识别结果。

10、可选的，对待识别语音的第一语音特征进行设定级别的特征提取处理，得到设定级别的语音特征，包括：

11、对待识别语音的第一语音特征进行帧级别的特征提取处理，得到所述待识别语音的帧级别的语音特征；所述帧级别的语音特征包括所述待识别语音中各个语音帧的语音特征；

12、对所述帧级别的语音特征中的各个语音帧的语音特征进行特征融合与维度调整，得到所述待识别语音的片段级别的语音特征；所述片段级别的语音特征与各个语音帧的语音特征的维度相同。

13、可选的，对待识别语音的第一语音特征进行设定级别的特征提取处理，得到设定级别的语音特征，基于所述设定级别的语音特征，预测所述待识别语音的属性信息，包括：

14、将所述待识别语音的第一语音特征输入到预先训练的语音属性识别模型中，得到所述待识别语音的属性信息；所述语音属性识别模型用于对待识别语音的第一语音特征进行设定级别的特征提取处理，得到设定级别的语音特征，基于所述设定级别的语音特征，预测所述待识别语音的属性信息。

15、可选的，基于所述第一语音特征、所述设定级别的语音特征和所述待识别语音的属性信息，预测所述待识别语音的语音识别结果，包括：

16、将所述第一语音特征、所述设定级别的语音特征和所述待识别语音的属性信息均输入到预先训练的语音识别模型中，得到所述待识别语音的语音识别结果；

17、所述语音识别模型是以第一样本语音对应的第一语音文本与所述第一样本语音的第一样本语音识别结果相同为目标，进行语音识别训练得到的；所述第一样本语音识别结果为所述语音识别模型对所述第一样本语音进行语音识别得到的。

18、可选的，所述语音识别模型的训练过程，包括：

19、将第一样本语音的第一样本语音特征、第一样本设定级别的语音特征、第一样本属性信息和所述第一样本语音对应的第一语音文本输入到所述语音识别模型，得到所述第一样本语音的第一样本语音识别结果；

20、以所述第一样本语音识别结果和所述第一语音文本相同为目标，对所述语音识别模型进行参数调整；

21、其中，所述第一样本设定级别的语音特征是对所述第一样本语音特征进行设定级别的特征提取处理得到的，所述第一样本属性信息是基于所述第一样本设定级别的语音特征进行语音属性预测得到的。

22、可选的，所述语音识别模型的训练过程，还包括：

23、将第二样本语音的第二样本语音特征输入到预先训练的语音属性识别模型中，得到所述第二样本语音的第二样本设定级别的语音特征和第二样本属性信息；

24、将所述第二样本语音特征、所述第二样本设定级别的语音特征、所述第二样本属性信息和所述第二样本语音对应的第二语音文本均输入到所述语音识别模型中，得到所述第二样本语音的第二样本语音识别结果；

25、以所述第二样本语音识别结果和所述第二语音文本相同为目标，对所述语音属性识别模型和所述语音识别模型进行参数联合微调。

26、可选的，所述语音识别模型包括：编码器和解码器；

27、将第一样本语音的第一样本语音特征、第一样本设定级别的语音特征、第一样本属性信息和所述第一样本语音对应的第一语音文本输入到所述语音识别模型，得到所述第一样本语音的第一样本语音识别结果，包括：

28、将第一样本语音的第一样本语音特征和第一样本设定级别的语音特征输入到所述编码器中，所述编码器对所述第一样本语音特征和第一样本设定级别的语音特征进行特征融合，得到第一样本融合特征，并对所述第一样本融合特征进行编码操作，得到所述第一样本语音的第一样本编码特征；

29、将第一样本属性信息和所述第一样本语音对应的第一语音文本输入到所述解码器中，所述解码器基于所述第一样本属性信息和所述第一语音文本，对所述第一样本编码特征进行解码，确定所述第一样本语音的第一样本语音识别结果。

30、根据本技术实施例的第二方面，提供了一种语音识别装置，包括：

31、级别特征提取?？?，用于对待识别语音的第一语音特征进行设定级别的特征提取处理，得到设定级别的语音特征；所述设定级别包括：帧级别和/或片段级别；

32、语音属性预测?？?，用于基于所述设定级别的语音特征，预测所述待识别语音的属性信息，所述属性信息包括：方言类型信息和语音距离信息中的至少一种；

33、语音识别?？?，用于基于所述第一语音特征、所述设定级别的语音特征和所述待识别语音的属性信息，预测所述待识别语音的语音识别结果。

34、根据本技术实施例的第三方面，提供了一种电子设备，包括：存储器和处理器；

35、所述存储器与所述处理器连接，用于存储程序；

36、所述处理器，用于通过运行所述存储器中的程序，实现上述语音识别方法。

37、根据本技术实施例的第四方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述语音识别方法。

38、本技术提出的语音识别方法，对待识别语音的第一语音特征进行设定级别的特征提取处理，得到设定级别的语音特征；设定级别包括：帧级别和/或片段级别；基于设定级别的语音特征，预测待识别语音的属性信息，属性信息包括：方言类型信息和语音距离信息中的至少一种；基于第一语音特征、设定级别的语音特征和待识别语音的属性信息，预测待识别语音的语音识别结果。采用本技术的技术方案，能够预先预测出语音的方言类型信息和语音距离信息，直接基于预测出的方言类型信息和/或语音距离信息进行语音识别，无需手动切换方言包以及语音距离的识别?？?，提高了语音识别的便捷性。