威胁情报的生成方法及装置的制造方法
【专利摘要】本发明公开了一种威胁情报的生成方法及装置。该方法，包括：扫描并获取样本集合中包含的多个白文件；提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中；当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。由此可见，本发明实施例提供的威胁情报的生成方法及装置，至少能够解决传统的网络防御方式因实时性较差，而无法及时发现最新出现的恶意文件的技术问题。
【专利说明】
威胁情报的生成方法及装置
技术领域
[0001]本发明涉及网络通信技术领域，具体涉及一种威胁情报的生成方法及装置。
【背景技术】
[0002]随着通信技术的不断发展，互联网已经融入了生活的方方面面。然而，黑客技术作为互联网发展的衍生物，也变得无孔不入，日益严峻地威胁着网络安全。为此，出现了各种各样的防御手段来应对黑客的入侵。例如，网盾、杀毒软件、安全卫士、网络保镖等安全软件都能够在一定程度上抵御黑客的入侵，维护网络安全。
[0003]但是，发明人在实现本发明的过程中，发现现有技术中的上述安全软件至少存在如下问题:现有的安全软件大多是根据数据访问记录来查杀恶意文件，但是，由于数据访问记录具有一定的滞后性，导致实时性较差，无法及时发现最新出现的恶意文件，因此，安全防御效果较差。
【发明内容】
[0004]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的威胁情报的生成方法及装置。
[0005]依据本发明的一个方面，提供了一种威胁情报的生成方法，包括:扫描并获取样本集合中包含的多个白文件;提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中；当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。
[0006]可选地，所述提取各个白文件中包含的域名信息的实现方式包括:动态提取方式和/或静态提取方式，其中，所述动态提取方式通过虚拟机或沙箱实现，所述静态提取方式通过预设的脚本文件实现。
[0007]可选地，进一步包括步骤:获取已鉴定的日志文件，根据所述日志文件提取域名信息，并将提取到的域名信息添加到所述白集合中，其中，所述日志文件中记录有各个样本的网络访问记录。
[0008]可选地，进一步包括步骤:获取所述样本集合中包含的多个恶意文件，根据预设的分类规则对所述多个恶意文件进行分类;根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；将所述域名信息存储到预设的黑集合中，当访问请求中包含出现在所述黑集合中的域名信息时，针对所述访问请求生成威胁情报。
[0009]可选地，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
[0010]可选地，所述提取各个类别的恶意文件中包含的域名信息的步骤之后，所述将所述域名信息存储到预设的黑集合中的步骤之前，进一步包括步骤:根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种:根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
[0011]可选地，所述将所述域名信息存储到预设的黑集合中的步骤之后，进一步包括步骤:根据聚类算法对所述黑集合中的各个域名进行聚类处理;其中，所述聚类算法包括相似度算法。
[0012]可选地，所述样本集合为增量样本集合和/或全量样本集合。
[0013]依据本发明的另一方面，提供了一种威胁情报的生成装置，包括:第一扫描?？?，适于扫描并获取样本集合中包含的多个白文件;第一提取?？?，适于提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中；生成?？?，适于当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。
[0014]可选地，所述第一提取?？榫咛逵糜?通过虚拟机或沙箱进行动态提取，或者，通过预设的脚本文件进行静态提取。
[0015]可选地，所述第一提取?？榻徊接糜?获取已鉴定的日志文件，根据所述日志文件提取域名信息，并将提取到的域名信息添加到所述白集合中，其中，所述日志文件中记录有各个样本的网络访问记录。
[0016]可选地，进一步包括:第二扫描?？?，适于获取所述样本集合中包含的多个恶意文件，根据预设的分类规则对所述多个恶意文件进行分类;第二提取?？?，适于根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息，将所述域名信息存储到预设的黑集合中；则所述生成?？榻徊接糜?当访问请求中包含出现在所述黑集合中的域名信息时，针对所述访问请求生成威胁情报。
[0017]可选地，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
[0018]可选地，进一步包括:过滤?？?，适于根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种:根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
[0019]可选地，进一步包括:聚类?？?，适于根据聚类算法对所述黑集合中的各个域名进行聚类处理;其中，所述聚类算法包括相似度算法。
[0020]可选地，所述样本集合为增量样本集合和/或全量样本集合。
[0021]在本发明提供的威胁情报的生成方法及装置中，首先，基于样本集合获取白文件，然后，根据白文件中包含的域名信息生成白集合，最后，根据非白即黑的原则，利用白集合来生成威胁情报。由于样本集合能够实时更新，因此，本发明中的白集合也可以实时更新，以便收入更加全面的白域名，并据此生成更为准确的威胁情报。由此可见，本发明提供的方式由于实时性更好，因此，能够更加及时准确地发现潜在的威胁，从而提升了网络安全性。
[0022]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0023]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0024]图1示出了本发明实施例提供的一种威胁情报的生成方法的流程图；
[0025]图2示出了本发明另一个实施例提供的一种威胁情报的生成方法的流程图；
[0026]图3示出了黑集合的生成方法的流程图；
[0027]图4示出了本发明另一个实施例提供的一种威胁情报的生成装置的结构图。
【具体实施方式】
[0028]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0029]本发明实施例提供了一种威胁情报的生成方法及装置，至少能够解决传统的网络防御方式因实时性较差，而无法及时发现最新出现的恶意文件的技术问题。
[0030]图1示出了本发明实施例提供的一种威胁情报的生成方法的流程图。如图1所示，该方法包括:
[0031]步骤S110:扫描并获取样本集合中包含的多个白文件。
[0032]其中，样本集合既可以是增量样本集合也可以是全量样本集合。由于样本集合能够实时更新，因此，能够及时收录更多的白文件。具体扫描时，可以通过各种类型的扫描器来判断样本集合中的各个文件是否为白文件。
[0033]步骤S120:提取各个白文件中包含的域名信息，将域名信息存储到预设的白集合中。
[0034]具体提取时，可以通过动态提取方式和/或静态提取方式实现。其中，动态提取方式可以通过虚拟机或沙箱实现，静态提取方式可以通过预设的脚本文件实现。
[0035]步骤S130:当访问请求中包含未出现在白集合中的域名信息时，针对该访问请求生成威胁情报。
[0036]其中，根据白集合生成威胁情报的步骤具体包括:每当接收到访问请求时，判断访问请求中是否包含未出现在白集合中的域名信息，若判断结果为是，则针对访问请求生成威胁提示信息，和/或对访问请求进行拦截。
[0037]由此可见，在本发明提供的威胁情报的生成方法中，首先，基于样本集合获取白文件，然后，根据白文件中包含的域名信息生成白集合，最后，根据非白即黑的原则，利用白集合来生成威胁情报。由于样本集合能够实时更新，因此，本发明中的白集合也可以实时更新，以便收入更加全面的白域名，并据此生成更为准确的威胁情报。由此可见，本发明提供的方式由于实时性更好，因此，能够更加及时准确地发现潜在的威胁，从而提升了网络安全性。
[0038]图2示出了本发明另一个具体实施例提供的一种威胁情报的生成方法的流程图。如图2所示，该方法包括:
[0039]步骤S210:扫描并获取样本集合中包含的多个白文件。
[0040]其中，该样本集合中的样本来源可能源于一个或多个公司的样本文件，并且，该样本集合可以通过该公司的增量样本文件和/或全量样本文件生成。总之，每当有新增样本时，该样本集合可以根据新增样本进行实时更新，以尽可能及时地收录更加全面的样本文件。
[0041]具体地，扫描过程可以通过各种类型的扫描器或查杀器实现。通过扫描能够确定样本集合中的各个文件的文件属性，例如，正常的白文件、感染性文件、流氓推广性文件以及恶意文件等。总之，通过本步骤能够将文件属性为白文件的样本文件全部提取出来，以备后续处理。
[0042]步骤S220:根据预设的分类规则对多个白文件进行分类。
[0043]由于白文件的种类繁多，为了便于后续处理，在本步骤中，可以按照预设的分类规则将上一步骤中得到的多个白文件进一步细分为多种类别。本发明对具体的分类方式和分类数量不做限定，只要能够实现便于后续处理的效果即可。例如，可以根据文件类型将白文件划分为压缩文件和非压缩文件，或者根据文件功能将白文件划分为安装文件、执行文件和文本文件等。
[0044]具体实现时，为了确定白文件的具体类型，可以通过更加精细的扫描器进行二次扫描?；蛘?，也可以预先分析各种类型的白文件的结构特征，并根据各种类型的白文件的结构特征编写相应的脚本文件，通过脚本文件自动提取白文件的部分内容并判断是否符合某一类型的结构特征，根据判断结果进行分类。另外，除了通过脚本实现分类之外，还可以灵活通过虚拟机或沙箱等虚拟执行的方式进行分类，本发明对此不作限定。
[0045]步骤S230:根据各个类别的白文件的文件结构特征，提取各个类别的白文件中包含的域名信息。
[0046]其中，各个类别的白文件的文件结构特征可以预先通过人工分析或机器学习等多种方式确定。每个类别的白文件的文件结构特征中定义了该类别的白文件中包含域名信息的字段的位置或偏移地址。根据各个类别的白文件的文件结构特征，能够快速定位其中包含的域名信息。
[0047]具体地，定位并提取各个类别的白文件中包含的域名信息的步骤至少能够通过下述两种方式实现:在第一种实现方式中，通过动态提取方式进行动态提取。相应地，可以通过虚拟机或沙箱对恶意文件进行虚拟执行，在执行过程中通过抓包来确定其中包含的域名信息。该方式能够获取到白文件执行过程中的动态信息，能够更加准确地确定白文件的行为特征。在第二种实现方式中，通过静态提取方式进行静态提取。相应地，可以根据白文件的文件结构特征编写脚本文件，该脚本文件的功能在于:定位白文件中包含域名信息的位置，并自动提取该位置所包含的域名信息。该方式由于不需要虚拟执行，因此更节约内存空间，处理速度更快。具体实现时，本领域技术人员可以灵活采取上述两种方式中的至少一种，或者，也可以将两种方式相结合，以充分发挥二者的优势。
[0048]另外，上述的步骤S220是一个可选的步骤，在本发明其他的实施例中，如果白文件的种类单一，也可以省略步骤S220，S卩:不对白文件进行分类，相应地，在本步骤中，直接从多个白文件中提取域名信息并存储到白集合。
[0049]步骤S240:根据预设的过滤规则对提取到的域名信息进行过滤，将过滤后的域名信息存储到预设的白集合中。
[0050]本步骤是一个可选的步骤，在本发明其他的实施例中也可以省略本步骤。本步骤的执行目的在于:过滤掉不符合要求的域名信息，以提高后续建立的白集合的纯度，进而提高威胁情报的准确度。其中，过滤规则可以灵活制定，例如，可以包括下述两种规则中的至少一种:第一种规则为，根据预设的黑名单过滤掉包含在黑名单中的域名信息，其中，黑名单可以预先通过各种方式建立，其中存储已被确定为恶意域名的域名信息，通过该种方式能够过滤掉因测试目的或其他目的而被写入白文件中的恶意域名。第二种规则为，根据预设的域名规则过滤掉不符合域名规则的域名信息，其中，域名规则是预先确定的正常域名应满足的规则，通过该种方式能够过滤掉非正常域名，例如某些白文件中会包含由乱码构成的假域名。通过过滤能够去除白文件的域名信息中的噪点，确保最终得到的白集合中的域名均为安全域名。
[0051]步骤S250:当访问请求中包含未出现在白集合中的域名信息时，针对该访问请求生成威胁情报。
[0052]具体地，根据白集合生成威胁情报的步骤可通过如下方式实现:每当接收到访问请求时，判断访问请求中是否包含未出现在白集合中的域名信息，若判断结果为是，针对该访问请求生成威胁提示信息，和/或针对该访问请求进行拦截。具体实现时，本实施例中的方法可以集成到各类安全软件中，该安全软件能够监测路由或交换机处的报文等形式的访问请求，提取其中包含的域名信息，将提取到的域名信息与白集合中存储的各个域名进行匹配，以确定是否需要产生威胁情报。
[0053]另外，在步骤S240之后，步骤S250之前，还可以进一步包括下述步骤:根据聚类算法对白集合中的各个域名进行聚类处理，获取并展示聚类处理后的各个域名信息之间的关联关系。具体地，由于白集合中存储的域名数量众多，为了提高后期匹配的效率，可以对白集合中存储的海量的安全域名进行聚类，从而将相同类型的安全域名聚为一类，以便快速匹配。具体聚类时，可以通过各种聚类算法，如相似度算法实现。在第一种聚类方式中，可以通过相似度算法计算两个或多个域名之间的相似度，如果相似度大于预设阈值则将其聚为一类。在第二种聚类方式中，可以将包含相同目标地址的两个或多个白样本中所包含的安全域名聚为一类，或者，将包含相同的报头名字的白样本中所包含的安全域名聚为一类。由此一来，当后续接收到访问请求后，首先确定访问请求中包含的域名与白集合中的何种类型的域名之间的相似度更高，从而优先与各种类型的域名进行匹配，以大幅提高匹配速度。
[0054]另外，在本实施例中，还可以同时通过其他多种渠道扩充白集合中的域名信息。例如，可以进一步从已鉴定的日志文件中提取域名信息，并将提取到的域名信息添加到白集合中。其中，已鉴定的日志文件可以由各类安全软件通过拦截并鉴定网络访问请求的方式来生成，根据已鉴定的日志文件可以进一步扩充白集合的数量，以提高威胁情报的准确性。
[0055]由此可见，本发明实施例中的方式能够根据样本生成白集合，并根据白集合产生威胁情报。由于样本能够根据增量样本进行实时扩充，因此，白集合可以实时生成并更新，以提尚防御效果。
[0056]另外，在上述实施例中，在步骤S250之前，还可以进一步根据恶意文件生成黑集合，并根据黑集合产生威胁情报。相应地，在上述步骤S250中，当访问请求中包含未出现在白集合中的域名信息时，针对该访问请求生成威胁情报的具体实现方式为:若访问请求中包含未出现在白集合中的域名信息，则进一步判断该访问请求中是否包含黑集合中的域名信息，若判断结果为是，确定该访问请求为恶意请求，针对该访问请求生成优先级高的威胁情报，以提高用户的警觉性;若判断结果为否，确定该访问请求为不确定性请求，针对该访问请求生成优先级低的威胁情报，以供用户参考。由此可见，通过白名单与黑名单相结合的方式，能够将不属于白集合的域名信息进一步根据其是否属于黑集合而划分为两种类型，并分别针对每种类型生成优先级不同的威胁情报，由此能够给用户更加直观准确地提示。
[0057]其中，图3示出了生成黑集合的方法流程图，如图3所示，该方法包括如下步骤:
[0058]步骤S310:扫描并获取样本集合中包含的多个恶意文件。
[0059]其中，该样本集合中的样本来源可能源于一个或多个公司的样本文件，并且，该样本集合可以通过该公司的增量样本文件和/或全量样本文件生成。总之，每当有新增样本时，该样本集合可以根据新增样本进行实时更新，以尽可能及时地收录更加全面的样本文件。
[0060]具体地，扫描过程可以通过各种类型的扫描器或查杀器实现。通过扫描能够确定样本集合中的各个文件的文件属性，例如，正常的白文件、感染性文件、流氓推广性文件以及恶意文件等。总之，通过本步骤能够将文件属性为恶意文件的样本文件全部提取出来，以备后续处理。
[0061]其中，本步骤中的恶意文件的具体涵盖范围可以根据需要灵活设定，例如，恶意文件可以是广义的，包括木马、病毒、后门等各种类型，以便尽可能全面地收集黑域名；或者，恶意文件也可以是狭义的，仅包括木马、病毒或后门中的其中一种类型，以便有针对性地处理特定类型的文件。在本实施例中，恶意文件的涵盖范围较宽，包括木马、病毒、后门等各种类型。
[0062]步骤S320:根据预设的分类规则对多个恶意文件进行分类。
[0063]由于恶意文件的种类繁多，为了便于后续处理，在本步骤中，按照预设的分类规则将上一步骤中得到的多个恶意文件进一步细分为多种类别。具体地，可以将恶意文件进一步划分为如下几种类别:木马、病毒以及后门。本领域技术人员还可以根据需要将恶意文件进一步细分为更多种类型或合并为更少的类型，本发明对具体的分类方式和分类数量不做限定，只要能够实现便于后续处理的效果即可。例如，对于后门而言，又进一步包含多种家族及变种，如灰鸽子、大灰狼等多种，此时，可以进一步将后门细分为多种子类型，以便后期进行更为细致的分类处理。
[0064]具体实现时，为了确定恶意文件的具体类型，可以通过更加精细的扫描器进行二次扫描?；蛘?，也可以预先分析各种类型的恶意文件的结构特征，并根据各种类型的恶意文件的结构特征编写相应的脚本文件，通过脚本文件自动提取恶意文件的部分内容并判断是否符合某一类型的结构特征，根据判断结果进行分类。另外，除了通过脚本实现分类之外，还可以灵活通过虚拟机或沙箱等虚拟执行的方式进行分类，本发明对此不作限定。
[0065]步骤S330:根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息。
[0066]其中，各个类别的恶意文件的文件结构特征可以预先通过人工分析或机器学习等多种方式确定。每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。例如，对于大灰狼或灰鸽子类型的恶意文件而言，其中包含域名信息的位置是相对固定的，该固定位置可能是某一子文件的倒数10个字节或两个偏移。由此可见，根据各个类别的恶意文件的文件结构特征，能够快速定位其中包含的域名信息。
[0067]具体地，定位并提取各个类别的恶意文件中包含的域名信息的步骤至少能够通过下述两种方式实现:在第一种实现方式中，通过动态提取方式进行动态提取。相应地，可以通过虚拟机或沙箱对恶意文件进行虚拟执行，在执行过程中通过抓包来确定其中包含的域名信息。该方式能够获取到恶意文件执行过程中的动态信息，能够更加准确地确定恶意文件的行为特征。在第二种实现方式中，通过静态提取方式进行静态提取。相应地，可以根据恶意文件的文件结构特征编写脚本文件，该脚本文件的功能在于:定位恶意文件中包含域名信息的位置，并自动提取该位置所包含的域名信息。该方式由于不需要虚拟执行，因此更节约内存空间，处理速度更快。具体实现时，本领域技术人员可以灵活采取上述两种方式中的至少一种，或者，也可以将两种方式相结合，以充分发挥二者的优势。
[0068]步骤S340:根据预设的过滤规则对提取到的域名信息进行过滤。
[0069]本步骤是一个可选的步骤，在本发明其他的实施例中也可以省略本步骤。本步骤的执行目的在于:过滤掉不符合要求的域名信息，以提高后续建立的黑集合的纯度，进而提高威胁情报的准确度。其中，过滤规则可以灵活制定，例如，可以包括下述两种规则中的至少一种:第一种规则为，根据预设的白名单过滤掉包含在白名单中的域名信息，其中，白名单可以预先通过各种方式建立，其中存储已被确定为安全域名的域名信息，通过该种方式能够过滤掉因测试目的或其他目的而被写入恶意文件中的安全域名。第二种规则为，根据预设的域名规则过滤掉不符合域名规则的域名信息，其中，域名规则是预先确定的正常域名应满足的规则，通过该种方式能够过滤掉非正常域名，例如某些恶意文件中会包含由乱码构成的假域名。通过过滤能够去除恶意文件的域名信息中的噪点，确保从恶意文件中提取到的域名为纯黑的域名，即恶意域名。
[0070]步骤S350:将过滤后的域名信息存储到预设的黑集合中，根据聚类算法对黑集合中的各个域名进行聚类处理。
[0071]其中，黑集合用于存储所有恶意域名。为了便于溯源，可以对黑集合中存储的海量的恶意域名进行聚类，从而将相同类型的恶意域名聚为一类，以便快速溯源。具体聚类时，可以通过各种聚类算法，如相似度算法实现。在第一种聚类方式中，可以通过相似度算法计算两个或多个域名之间的相似度，如果相似度大于预设阈值则将其聚为一类。在第二种聚类方式中，可以将包含相同目标地址的两个或多个恶意样本中所包含的恶意域名聚为一类，或者，将包含相同的报头名字的恶意样本中所包含的恶意域名聚为一类，以便溯源。
[0072]步骤S360:获取并展示聚类处理后的各个域名信息之间的关联关系。
[0073]其中，上一步骤中的聚类处理过程以及本步骤中的展示过程并非本发明中必需的，在本发明其他的实施例中，也可以省略聚类或展示过程。另外，本步骤的执行顺序也可以调整到最后。具体展示时，可以以树状分支的形式或列表的形式进行展示，本发明对具体展示方式不做限定，只要能够清晰地显示出各个域名信息之间的关联关系即可。通过本步骤能够直观地显示各个域名信息之间的关联，为溯源提供便利。
[0074]通过上述步骤能够得到黑集合，从而在步骤S250中将黑集合与白集合相结合进行判断，以提高威胁情报的准确性。另外，在步骤S250中，也可以先根据黑集合判断访问请求中是否包含黑集合中的域名信息，如果判断结果为是，则直接生成威胁情报;如果判断结果为否，则进一步判断访问请求中是否包含未出现在白集合中的域名信息，如果判断结果为是，则生成威胁情报;反之，则不生成威胁情报。
[0075]更进一步地，在上述生成的白集合和黑集合的基础上，本发明实施例还可以进一步对未知域名进行预测，例如，将未知域名与预设的黑集合中存储的各个黑域名进行比较，得到第一比较结果;将未知域名与预设的白集合中存储的各个白域名进行比较，得到第二比较结果;根据第一比较结果以及第二比较结果预测未知域名是否为黑域名。具体地，根据第一比较结果能够确定未知域名与黑域名之间的相似度，根据第二比较结果能够确定未知域名与白域名之间的相似度，若未知域名与黑域名之间的相似度更高，则预测该未知域名为黑域名;若未知域名与白域名之间的相似度更高，则预测该未知域名为白域名。
[0076]图4示出了本发明另一实施例提供的威胁情报的生成装置的结构示意图，如图4所示，该装置包括:
[0077]第一扫描?？?1，适于扫描并获取样本集合中包含的多个白文件；
[0078]第一提取?？?2，适于提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中；
[0079]生成?？?3，适于当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。
[0080]其中，所述第一提取?？?2具体用于:通过虚拟机或沙箱进行动态提取，或者，通过预设的脚本文件进行静态提取。
[0081]可选地，所述第一提取?？?2进一步用于:获取已鉴定的日志文件，根据所述日志文件提取域名信息，并将提取到的域名信息添加到所述白集合中，其中，所述日志文件中记录有各个样本的网络访问记录。
[0082]可选地，进一步包括:第二扫描?？?，适于获取所述样本集合中包含的多个恶意文件，根据预设的分类规则对所述多个恶意文件进行分类;第二提取?？?，适于根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息，将所述域名信息存储到预设的黑集合中；则所述生成?？榻徊接糜?当访问请求中包含出现在所述黑集合中的域名信息时，针对所述访问请求生成威胁情报。
[0083]可选地，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
[0084]可选地，进一步包括:过滤?？?，适于根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种:根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
[0085]可选地，进一步包括:聚类?？?，适于根据聚类算法对所述黑集合中的各个域名进行聚类处理;其中，所述聚类算法包括相似度算法。
[0086]可选地，所述样本集合为增量样本集合和/或全量样本集合。
[0087]上述各个?？榈木咛褰峁购凸ぷ髟砜刹握辗椒ㄊ凳├邢嘤Σ糠值拿枋?，此处不再赘述。
[0088]在本发明提供的威胁情报的生成方法及装置中，首先，基于样本集合获取白文件，然后，根据白文件中包含的域名信息生成白集合，最后，根据非白即黑的原则，利用白集合来生成威胁情报。由于样本集合能够实时更新，因此，本发明中的白集合也可以实时更新，以便收入更加全面的白域名，并据此生成更为准确的威胁情报。由此可见，本发明提供的方式由于实时性更好，因此，能够更加及时准确地发现潜在的威胁，从而提升了网络安全性。
[0089]本发明的实施例公开了:
[0090]Al、一种威胁情报的生成方法，包括:
[0091]扫描并获取样本集合中包含的多个白文件；
[0092]提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中；
[0093]当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。
[0094]A2、根据Al所述的方法，其中，所述提取各个白文件中包含的域名信息的实现方式包括:动态提取方式和/或静态提取方式，其中，所述动态提取方式通过虚拟机或沙箱实现，所述静态提取方式通过预设的脚本文件实现。
[0095]A3、根据Al所述的方法，其中，进一步包括步骤:获取已鉴定的日志文件，根据所述日志文件提取域名信息，并将提取到的域名信息添加到所述白集合中，其中，所述日志文件中记录有各个样本的网络访问记录。
[0096]A4、根据Al所述的方法，其中，进一步包括步骤:
[0097]获取所述样本集合中包含的多个恶意文件，根据预设的分类规则对所述多个恶意文件进行分类；
[0098]根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息；
[0099]将所述域名信息存储到预设的黑集合中，当访问请求中包含出现在所述黑集合中的域名信息时，针对所述访问请求生成威胁情报。
[0100]A5、根据A4所述的方法，其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
[0101]A6、根据A4所述的方法，其中，所述提取各个类别的恶意文件中包含的域名信息的步骤之后，所述将所述域名信息存储到预设的黑集合中的步骤之前，进一步包括步骤:根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种:根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
[0102]A7、根据A4-6任一所述的方法，其中，所述将所述域名信息存储到预设的黑集合中的步骤之后，进一步包括步骤:根据聚类算法对所述黑集合中的各个域名进行聚类处理;其中，所述聚类算法包括相似度算法。
[0103]AS、根据Al所述的方法，其中，所述样本集合为增量样本集合和/或全量样本集合。
[0104]B9、一种威胁情报的生成装置，包括:
[0105]第一扫描?？?，适于扫描并获取样本集合中包含的多个白文件；
[0106]第一提取?？?，适于提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中；
[0107]生成?？?，适于当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。
[0108]B10、根据B9所述的装置，其中，所述第一提取?？榫咛逵糜?通过虚拟机或沙箱进行动态提取，或者，通过预设的脚本文件进行静态提取。
[0109]B11、根据B9所述的装置，其中，所述第一提取?？榻徊接糜?获取已鉴定的日志文件，根据所述日志文件提取域名信息，并将提取到的域名信息添加到所述白集合中，其中，所述日志文件中记录有各个样本的网络访问记录。
[0110]B12、根据B9所述的装置，其中，进一步包括:
[0111]第二扫描?？?，适于获取所述样本集合中包含的多个恶意文件，根据预设的分类规则对所述多个恶意文件进行分类；
[0112]第二提取?？?，适于根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息，将所述域名信息存储到预设的黑集合中；
[0113]则所述生成?？榻徊接糜?当访问请求中包含出现在所述黑集合中的域名信息时，针对所述访问请求生成威胁情报。
[0114]B13、根据B12所述的装置，其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。
[0115]B14、根据B12所述的装置，其中，进一步包括:
[0116]过滤?？?，适于根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种:根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。
[0117]B15、根据B12-14任一所述的装置，其中，进一步包括:
[0118]聚类?？?，适于根据聚类算法对所述黑集合中的各个域名进行聚类处理;其中，所述聚类算法包括相似度算法。
[0119]B16、根据B9所述的装置，其中，所述样本集合为增量样本集合和/或全量样本集入口 ο
[0120]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0121]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0122]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求?；さ谋痉⒚饕蟊仍诿扛鋈ɡ笾兴魅芳窃氐奶卣鞲嗟奶卣?。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0123]本领域那些技术人员可以理解，可以对实施例中的设备中的?？榻凶允视π缘馗谋洳⑶野阉巧柚迷谟敫檬凳├煌囊桓龌蚨喔錾璞钢??？梢园咽凳├械哪？榛虻ピ蜃榧楹铣梢桓瞿？榛虻ピ蜃榧?，以及此外可以把它们分成多个子?？榛蜃拥ピ蜃幼榧?。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0124]此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求?；さ氖凳├娜我庵欢伎梢砸匀我獾淖楹戏绞嚼词褂?。
[0125]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件?？槭迪?，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0126]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序?？山庑┑ゴ式馐臀?。
【主权项】
1.一种威胁情报的生成方法，包括: 扫描并获取样本集合中包含的多个白文件； 提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中； 当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。2.根据权利要求1所述的方法，其中，所述提取各个白文件中包含的域名信息的实现方式包括:动态提取方式和/或静态提取方式，其中，所述动态提取方式通过虚拟机或沙箱实现，所述静态提取方式通过预设的脚本文件实现。3.根据权利要求1所述的方法，其中，进一步包括步骤:获取已鉴定的日志文件，根据所述日志文件提取域名信息，并将提取到的域名信息添加到所述白集合中，其中，所述日志文件中记录有各个样本的网络访问记录。4.根据权利要求1所述的方法，其中，进一步包括步骤: 获取所述样本集合中包含的多个恶意文件，根据预设的分类规则对所述多个恶意文件进行分类； 根据各个类别的恶意文件的文件结构特征，提取各个类别的恶意文件中包含的域名信息; 将所述域名信息存储到预设的黑集合中，当访问请求中包含出现在所述黑集合中的域名信息时，针对所述访问请求生成威胁情报。5.根据权利要求4所述的方法，其中，每个类别的恶意文件的文件结构特征中定义了该类别的恶意文件中包含域名信息的字段的位置或偏移地址。6.根据权利要求4所述的方法，其中，所述提取各个类别的恶意文件中包含的域名信息的步骤之后，所述将所述域名信息存储到预设的黑集合中的步骤之前，进一步包括步骤:根据预设的过滤规则对提取到的域名信息进行过滤，其中，所述过滤规则包括以下规则中的至少一种:根据预设的白名单过滤掉包含在所述白名单中的域名信息、以及根据预设的域名规则过滤掉不符合所述域名规则的域名信息。7.根据权利要求4-6任一所述的方法，其中，所述将所述域名信息存储到预设的黑集合中的步骤之后，进一步包括步骤:根据聚类算法对所述黑集合中的各个域名进行聚类处理；其中，所述聚类算法包括相似度算法。8.根据权利要求1所述的方法，其中，所述样本集合为增量样本集合和/或全量样本集入口 ο9.一种威胁情报的生成装置，包括: 第一扫描?？?，适于扫描并获取样本集合中包含的多个白文件； 第一提取?？?，适于提取各个白文件中包含的域名信息，将所述域名信息存储到预设的白集合中； 生成?？?，适于当访问请求中包含未出现在所述白集合中的域名信息时，针对所述访问请求生成威胁情报。10.根据权利要求9所述的装置，其中，所述第一提取?？榫咛逵糜?通过虚拟机或沙箱进行动态提取，或者，通过预设的脚本文件进行静态提取。
【文档编号】H04L29/06GK105897751SQ201610391147
【公开日】2016年8月24日
【申请日】2016年6月3日
【发明人】边亮, 陈雍, 刘嘉磊, 赵雨婷
【申请人】北京奇虎科技有限公司, 奇智软件（北京）有限公司