一种文本生成模型的训练方法、装置、介质及电子设备与流程

本说明书涉及计算机，尤其涉及一种文本生成模型的训练方法、装置、介质及电子设备。

背景技术：

1、随着科技的不断发展，自然语言模型应用的越来越广泛，尤其应用在公文写作领域。

2、目前，在进行公文写作时，一般是将公文的相关要求输入训练好的模型，再基于模型生成公文。但是，由于模型的语言理解能力有限，并且创造性和灵活性不足，故基于模型生成的公文质量低。因此，如何训练文本生成模型以生成质量高的公文是一个重要的问题。

3、基于此，本说明书提供一种文本生成模型的训练方法。

技术实现思路

1、本说明书提供一种文本生成模型的训练方法、装置、介质及电子设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种文本生成模型的训练方法，包括：

4、确定收集到的公文，其中，所述公文包括若干标题；

5、针对所述公文包括的每个标题，确定在所述公文中该标题的上级标题；

6、根据所述上级标题，确定该标题的提示文本；

7、将所述提示文本和该标题输入预先训练的初始文本生成模型，确定输出文本；其中，所述初始文本生成模型为大语言模型；

8、确定在所述公文中该标题对应的文本，并作为目标文本；

9、根据所述目标文本和所述输出文本，对所述初始文本生成模型进行训练，得到文本生成模型；其中，所述文本生成模型用于根据用户输入的文本，生成所述用户所需的公文。

10、可选地，所述提示文本包括联系性提示；

11、根据所述上级标题，确定该标题的提示文本，具体包括：

12、将所述上级标题进行拼接；

13、将拼接后的结果作为该标题的联系性提示。

14、可选地，所述提示文本包括区别性提示；

15、根据所述上级标题，确定该标题的提示文本，具体包括：

16、确定在所述公文中该标题的同级标题；

17、将所述同级标题、指定文本以及所述上级标题进行拼接，得到该标题的区别性提示。

18、可选地，所述方法还包括：

19、响应于所述用户的第一输入操作，确定所述用户输入的文本，并作为第一文本；

20、将所述第一文本输入所述文本生成模型，确定输出文本；

21、根据所述输出文本，确定所述用户所需的目标公文；

22、将所述目标公文显示给所述用户。

23、可选地，将所述第一文本输入所述文本生成模型，确定输出文本，具体包括：

24、确定文献资料；

25、从所述文献资料中，确定与所述第一文本匹配的文献，并作为参考文献；

26、将所述参考文献和所述第一文本输入所述文本生成模型，确定输出文本。

27、可选地，所述方法还包括：

28、响应于所述用户的第二输入操作，确定所述用户输入的文本，并作为第二文本；

29、将所述第二文本输入所述文本生成模型，确定公文大纲，并显示给所述用户；其中，所述公文大纲包括若干标题；

30、响应于所述用户的第一选择操作，确定所述用户选择的标题，并作为第一标题；

31、将所述第一标题输入所述文本生成模型，确定所述第一标题对应的输出文本；

32、根据所述第一标题对应的输出文本，确定所述用户所需的目标公文；

33、将所述目标公文显示给所述用户。

34、可选地，确定文献资料，具体包括：

35、响应于所述用户的上传操作，确定所述用户上传的资料，并作为文献资料。

36、本说明书提供了一种文本生成模型的训练装置，包括：

37、第一确定?？?，用于确定收集到的公文，其中，所述公文包括若干标题；

38、第二确定?？?，用于针对所述公文包括的每个标题，确定在所述公文中该标题的上级标题；

39、生成提示?？?，用于根据所述上级标题，确定该标题的提示文本；

40、生成文本?？?，用于将所述提示文本和该标题输入预先训练的初始文本生成模型，确定输出文本；其中，所述初始文本生成模型为大语言模型；

41、第三确定?？?，用于确定在所述公文中该标题对应的文本，并作为目标文本；

42、训练?？?，用于根据所述目标文本和所述输出文本，对所述初始文本生成模型进行训练，得到文本生成模型；其中，所述文本生成模型用于根据用户输入的文本，生成所述用户所需的公文。

43、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文本生成模型的训练方法。

44、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述文本生成模型的训练方法。

45、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

46、本说明书提供的文本生成模型的训练方法，确定收集到的公文，针对公文包括的每个标题，确定在公文中该标题的上级标题。根据上级标题，确定该标题的提示文本。然后，将提示文本和该标题输入预先训练的初始文本生成模型，确定输出文本。确定在公文中该标题对应的文本，并作为目标文本。根据目标文本和输出文本，对初始文本生成模型进行训练，得到文本生成模型。

47、从上述方法中可以看出，本申请在训练文本生成模型时，确定收集到的公文，针对公文包括的每个标题，确定在公文中该标题的上级标题。根据上级标题，确定该标题的提示文本，有助于文本生成模型在生成该标题下的内容时可以受到该标题的上级标题的影响。然后，将提示文本和该标题输入预先训练的初始文本生成模型，确定输出文本。确定在公文中该标题对应的文本，并作为目标文本。根据目标文本和输出文本，对初始文本生成模型进行训练，得到文本生成模型，提高文本生成模型生成的文本的准确性。

技术特征：

1.一种文本生成模型的训练方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述提示文本包括联系性提示；

3.如权利要求1所述的方法，其特征在于，所述提示文本包括区别性提示；

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

5.如权利要求4所述的方法，其特征在于，将所述第一文本输入所述文本生成模型，确定输出文本，具体包括：

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

7.如权利要求5所述的方法，其特征在于，确定文献资料，具体包括：

8.一种文本生成模型的训练方法，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。

技术总结
本说明书公开了一种文本生成模型的训练方法、装置、介质及电子设备，包括：确定收集到的公文，针对公文包括的每个标题，确定在公文中该标题的上级标题。根据上级标题，确定该标题的提示文本，有助于文本生成模型在生成该标题下的内容时可以受到该标题的上级标题的影响。然后，将提示文本和该标题输入预先训练的初始文本生成模型，确定输出文本。确定在公文中该标题对应的文本，并作为目标文本。根据目标文本和输出文本，对初始文本生成模型进行训练，得到文本生成模型，提高文本生成模型生成的文本的准确性。

技术研发人员：蔡京京,董波,柏洁明,葛俊,孔祥夫,周宏豪
受?；さ募际跏褂谜撸?/b>之江实验室
技术研发日：
技术公布日：2024/4/8