专利交易市场

本发明公开了一种基于动态反馈的网络数据实时收集方法，包括布置节点至检测区域、源节点根据环境配置计算反馈时机、中转节点分层、源节点和中转节点对编码度值进行初始化、源节点随机挑选缓存区码字进行编码操作并根据反馈数据包执行前期严格过滤、后期概率过滤，得到发送候选包集合，并在新的度时刻转换序列中得到本轮要发送的度值、在过滤后的码字中选取码字进行编码转发、中转节点对码字进行译码，检测当前轮次是否需要反馈，假如到达则发送反馈包；检测当前轮次是否到达延迟效应时刻，假如到达转为Pull模式进行数据包交换。本发明通过动态反馈、Pull模式等的结合，提高了实时数据包的收集效率，减少了网络中的无效码字，提升了信道的有效利用率。

本发明公开一种骨干网链路中用户上网行为数据采集方法，该方法包括：捕获骨干网链路中包含HTTP请求报文的数据包，采用并行处理从数据包中根据HTTP协议解析提取用户访问的网站页面URL、以及反映用户上网行为的HTTP字段信息；根据URL模式特征树过网站页面URL进行过滤，获得需要抓取页面内容的网站页面URL；以异步方式抓取所述过滤后的网站页面URL的页面内容。通过本发明的方法和系统，能够实时截获万兆链路中包含HTTP请求报文的原始数据包；实现了从原始数据包中实时提取用户IP地址、网站页面URL地址、和其它相关的用户上网信息数据；实现了对海量网站页面URL地实时过滤和对页面内容的准实时抓取。