专利名称：一种基于tcp连接的网络报文采样系统和方法
一种基于tcp连接的网络报文采样系统和方法技术领域
本发明属于网络数据处理领域，具体讲涉及一种基于tcp连接的网络报文采样系统和方法。
背景技术：
当前的网络数据处理系统需要对网络上的报文进行接收处理，在网络流量很大的情况下，为降低系统负载，一般采用报文采样的方法，也就是说，系统不接收所有报文，而是从所有报文中抽取一定量的报文进行分析。
报文采样往往是基于报文的，用统计报文计数的方法，按照一定的采样比例，随机采样报文，比如从每10个报文中抽取一个报文进行分析。但在实际应用中，很多网络数据分析工作不是针对单个报文的，而是针对tcp连接的。
专利号为ZL200910073048. 4、名称为“一种用于异常检测的自适应网络流量采样方法”的发明披露了一种自适应网络流量采样方法，利用统计报文计数的方法对传输的数据包报文进行采样，但这样对报文进行采样往往会丢掉tcp连接中的某些报文，使tcp连接的数据不完整，导致在分析采样数据时存在采样数据有效性不高的问题。发明内容
本发明的目的在于，提出一种基于tcp连接的网络报文采样系统和方法，可对报文进行连续采集，提高采样数据的有效性。
为实现上述目的，本发明提供一种基于tcp连接的网络报文采样系统，所述报文采样系统包括tcp报文判断?？?、tcp标识判断?？楹筒裳壤卸夏？?；其特征在于，与所述tcp标识判断?？榱拥膖cp查找?？?，及所述tcp查找?？楹退霾裳壤卸夏？榉直鹩雝cp管理表连接；所述tcp报文判断?？?、所述tcp标识判断?？楹退霾裳壤卸夏？橐来瘟?。
本发明提供的优选技术方案中，所述tcp连接管理表中的每个表项为标识tcp连接的四元组结构。
本发明提供的第二优选技术方案中，所述tcp报文判断?？槎允淙氲谋ㄎ氖欠袷?tcp报文做出判断，确定是按采样比例随机采样，继续处理下一个输入报文还是将该报文传输到tcp标识判断?？?。
本发明提供的第三优选技术方案中，所述tcp标识判断?？榕卸媳ㄎ牡膖cp标识， 确定将所述报文传输到所述采样比例判断?？榛故墙鰐cp报文传输到所述tcp查找?？?。
本发明提供的第四优选技术方案中，所述采样比例判断?？榕卸系鼻安裳氖萘渴欠翊锏搅讼低吃ど璧牟裳壤?，判断是丢弃收到的报文，继续处理下一个输入报文，还是采样收到的报文，并且提取出所述收到的报文的四元组结构并传输到所述tcp连接管理表中。
本发明提供的第五优选技术方案中，所述四元组结构包括源ip、目的ip、源端口和目的端口。
本发明提供的第六优选技术方案中，所述tcp查找?？樵诮拥剿鰐cp标识判断?？榉⒊龅膖cp报文后，提取出该tcp报文的四元组结构，并到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项。
本发明提供的第七优选技术方案中，提供一种基于tcp连接的网络报文采样方法，其改进之处在于，所述网络报文采样方法包括如下步骤
(1)在报文采样系统中建立一张tcp连接管理表；
(2)判断输入报文的类型，如该报文类型是TCP报文，则查看该报文的tcp标识位； 否则按采样比例随机采样，然后继续处理下一个输入报文；
(3)判断报文的tcp标识位，如果该tcp报文属于新建的tcp连接的，则进行步骤 4 ；如果该tcp报文属于已建的tcp连接的数据报文，则进行步骤5 ；如果该tcp报文属于 tcp连接的关闭报文，则进行步骤6 ；
(4)判断当前采样的数据量是否达到了系统预设的采样比例，如果达到了采样比例，则丢弃收到的报文，继续处理下一个输入报文；否则采样收到的报文，并且提取出所述收到的报文的四元组结构，插入到所述tcp连接管理表中；
(5)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项，如果查找到了，则采样该tcp报文；否则丢弃该tcp报文，继续处理下一个输入报文；
(6)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项；如果查找到了，则采样该tcp报文，并从所述tcp连接管理表中删除该tcp连接；否则丢弃该tcp报文，继续处理下一个输入报文。
与现有技术比，本发明提供的一种基于tcp连接的网络报文采样系统和方法，可在报文采样系统中建立一张tcp连接管理表，管理tcp连接建立、传输、关闭的过程，通过 tcp连接管理表实现基于tcp连接的报文采样；当一个新的tcp连接被发现时，如果需要采样，就把它在tcp连接表中管理起来，整个传输过程中所有的报文都采样，直到连接关闭。 如果一个新发现的tcp连接不需要采样，就不在tcp连接管理表中建立该tcp连接的选项，后继报文全部丢弃；而且，避免了现有的报文采样系统在对报文进行采样时往往会丢掉 tcp连接中的某些报文，使tcp连接的数据不完整，导致在分析采样数据时存在采样数据有效性不高的问题。
图1为网络报文采样系统的结构示意图。
图2为网络报文采样方法的流程图。
具体实施方式
如图1所示，基于tcp连接的网络报文采样系统，包括tcp报文判断?？?、tcp标识判断?？楹筒裳壤卸夏？?，与所述tcp标识判断?？榱拥膖cp查找?？?，及分别与所述tcp查找?？楹退霾裳壤卸夏？橄嗔拥膖cp连接管理表；所述tcp报文判断4?？?、所述tcp标识判断?？楹退霾裳壤卸夏？橐来瘟?。
所述tcp连接管理表中的每个表项是标识tcp连接的四元组结构；所述四元组结构包括源ip、目的ip、源端口和目的端口。所述tcp报文判断?？槎允淙氲谋ㄎ氖欠袷莟cp 报文进行判断，判断结果为“否”，则按采样比例随机采样，然后继续处理下一个输入报文； 判断结果为“是”，则将该报文传输到tcp标识判断?？?。所述tcp标识判断?？榭啥詔cp 报文的标识进行判断，如果tcp标识显示所述tcp报文属于新建的tcp连接，则将所述tcp 报文传输到所述采样比例判断?？?；如果tcp标识显示所述tcp报文属于已建的tcp连接的数据报文或者tcp连接的关闭报文，则将所述tcp报文传输到所述tcp查找?？?。所述采样比例判断?？榕卸系鼻安裳氖萘渴欠翊锏搅讼低吃ど璧牟裳壤?，判断结果为 “是”，则丢弃收到的报文，继续处理下一个输入报文；判断结果为“否”，则采样收到的报文， 并且提取出所述收到的报文的四元组结构并传输到所述tcp连接管理表中。所述tcp查找?？樵诮拥剿鰐cp标识判断?？榉⒊龅膖cp报文后，提取出该tcp报文的四元组结构，并到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项。
如图2所示，为一种基于tcp连接的网络报文采样方法，包括如下步骤
(1)在报文采样系统中建立一张tcp连接管理表；
(2)对输入的报文是否是tcp报文进行判断，判断结果为“否”，则按采样比例随机采样，然后继续处理下一个输入报文；判断结果为“是”，则查看报文的tcp标识位；
(3)对报文的tcp标识位进行判断，判断结果显示该tcp报文属于新建的tcp连接的，则进行步骤4 ；判断结果显示该tcp报文属于已建的tcp连接的数据报文，则进行步骤 5 ；判断结果显示该tcp报文属于tcp连接的关闭报文，则进行步骤6 ；
(4)判断当前采样的数据量是否达到了系统预设的采样比例，判断结果为“是”，则丢弃收到的报文，继续处理下一个输入报文；判断结果为“否”，则采样收到的报文，并且提取出所述收到的报文的四元组结构，插入到所述tcp连接管理表中；
(5)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项，查找结果为“是”，则采样该tcp报文；查找结果为“否”，则丢弃该tcp报文，继续处理下一个输入报文；
(6)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项，查找结果为“是”，则采样该tcp报文，并从所述tcp连接管理表中删除该tcp连接；查找结果为“否”，则丢弃该tcp报文，继续处理下一个输入报文。
需要声明的是，本发明内容及具体实施方式
意在证明本发明所提供技术方案的实际应用，不应解释为对本发明?；し段У南薅?。本领域技术人员在本发明的精神和原理启发下，可作各种修改、等同替换、或改进。但这些变更或修改均在申请待批的?；し段?。
权利要求
1.一种基于tcp连接的网络报文采样系统，所述报文采样系统包括tcp报文判断?？?、tcp标识判断?？楹筒裳壤卸夏？?；其特征在于，与所述tcp标识判断?？榱拥?tcp查找?？?，及所述tcp查找?？楹退霾裳壤卸夏？榉直鹩雝cp管理表连接；所述 tcp报文判断?？?、所述tcp标识判断?？楹退霾裳壤卸夏？橐来瘟?。
2.根据权利要求1所述的报文采样系统，其特征在于，所述tcp连接管理表中的每个表项为标识tcp连接的四元组结构。
3.根据权利要求1所述的报文采样系统，其特征在于，所述tcp报文判断?？槎允淙氲谋ㄎ氖欠袷莟cp报文做出判断，确定是按采样比例随机采样，继续处理下一个输入报文还是将该报文传输到tcp标识判断?？?。
4.根据权利要求1所述的报文采样系统，其特征在于，所述tcp标识判断?？榕卸媳ㄎ牡膖cp标识，确定将所述tcp报文传输到所述采样比例判断?？榛故墙鰐cp报文传输到所述tcp查找?？?。
5.根据权利要求1所述的报文采样系统，其特征在于，所述采样比例判断?？榕卸系鼻安裳氖萘渴欠翊锏搅讼低吃ど璧牟裳壤?，判断是丢弃收到的报文，继续处理下一个输入报文，还是采样收到的报文，并且提取出所述收到的报文的四元组结构并传输到所述tcp连接管理表中。
6.根据权利要求2所述的报文采样系统，其特征在于，所述四元组结构包括源ip、目的 ip、源端口和目的端口。
7.根据权利要求4所述的报文采样系统，其特征在于，所述tcp查找?？樵诮拥剿?tcp标识判断?？榉⒊龅膖cp报文后，提取出该tcp报文的四元组结构，并到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项。
8.根据1-7项权利要求任一项所述的基于tcp连接的网络报文采样系统的基于tcp连接的网络报文采样方法，其特征在于，所述网络报文采样方法包括如下步骤(1)在报文采样系统中建立一张tcp连接管理表；(2)判断输入报文的类型，如该报文类型是TCP报文，则查看该报文的tcp标识位；否则按采样比例随机采样，然后继续处理下一个输入报文；(3)判断报文的tcp标识位，如果该tcp报文属于新建的tcp连接的，则进行步骤4；如果该tcp报文属于已建的tcp连接的数据报文，则进行步骤5 ；如果该tcp报文属于tcp连接的关闭报文，则进行步骤6;(4)判断当前采样的数据量是否达到了系统预设的采样比例，如果达到了采样比例，则丢弃收到的报文，继续处理下一个输入报文；否则采样收到的报文，并且提取出所述收到的报文的四元组结构，插入到所述tcp连接管理表中；(5)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项，如果查找到了，则采样该tcp报文；否则丢弃该tcp报文，继续处理下一个输入报文；(6)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项；如果查找到了，则采样该tcp报文，并从所述tcp连接管理表中删除该tcp连接；否则丢弃该tcp报文，继续处理下一个输入报文。
全文摘要
本发明提供一种基于tcp连接的网络报文采样系统，包括tcp报文判断?？?、tcp标识判断?？楹筒裳壤卸夏？?；与所述tcp标识判断?？榱拥膖cp查找?？?，及分别与所述tcp查找?？楹退霾裳壤卸夏？橄嗔拥膖cp连接管理表；还提供一种基于tcp连接的网络报文采样方法，在报文采样系统中建立一张tcp连接管理表，管理tcp连接建立、传输、关闭的过程。本发明提供的基于tcp连接的网络报文采样系统和方法，可对报文进行连续采集，提高采样数据的有效性。
文档编号H04L12/56GK102546392SQ20111038369
公开日2012年7月4日 申请日期2011年11月28日 优先权日2011年11月28日
发明者刘朝辉, 姬乃军, 白宗元, 纪奎 申请人:曙光信息产业(北京)有限公司