专利交易市场

本申请实施例公开了一种统一资源定位符URL去重及装置，其中方法包括：在检测到待下载URL经过目标泛化处理后得到的第一URL不在第一列表中时，除去该第一URL中的参数部分得到第二URL，又在检测到该第二URL在该第二列表中，获取该第二URL在该第二列表中的第一出现次数，当该第一出现次数小于或等于第一阈值，就下载该待下载URL。采用本申请实施例，可以减少下载到重复URL的数量，在保证去重准确率的同时提高WEB漏洞扫描系统的扫描效率。

本发明实施例公开了一种去重流量提示方法、装置、服务器及存储介质，所述方法包括：在判断报文对应的流量为目标去重流量的情况下，确定出计算目标去重流量所需的多个目标时间窗口下各自对应的用于记录历史去重流量的去重值的去重流量数据，并根据预设流量规则确定出用于计算目标去重流量的去重阈值，在各个目标时间窗口的去重流量数据中获取数量等于去重阈值的去重值，得到各个目标时间窗口各自对应的去重值集合，进而根据各个去重值集合中去重值的数量，确定目标去重流量是否命中该预设流量规则，若命中，则输出提示信息。采用本发明，可以减少获取目标时间窗口内去重值的数量，提高计算效率，有利于更高效地提示用户进行风险控制。

本申请实施例公开了一种统一资源定位符URL去重方法及装置，其中方法包括：对原始URL进行第一泛化处理，并判断该第一URL是否属于第一重复集合，若该第一URL不属于该第一重复集合，则对该第一URL进行第一减参处理得到第二URL，并判断该第二URL是否属于第二重复集合，若该第二URL属于第二重复集合，检测该第二URL在该第二重复集合中的第一出现次数是否小于或等于第一阈值，若是，则下载该原始URL，若否，则丢弃该原始URL，即不下载。采用本申请实施例，可以减少下载到重复URL的数量，从而可以提高WEB漏洞扫描系统的扫描效率。

本发明实施例公开了一种去重流量记录方法、装置、服务器及存储介质，所述方法包括：在接收到报文的情况下，获取报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量，若是，则解析字段点信息并确定去重流量的业务产生时间和指示信息，并根据预设流量配置信息和业务产生时间确定出用于记录去重流量的多个业务时间窗口，进而根据指示信息，在多个业务时间窗口下分别记录去重流量。本发明，采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。