咨询电话：13280638997
传真：0533-3110363
邮箱：kefu@shizifang.com
24小时咨询热线13280638997
24小时咨询热线摘 要：本发明涉及一种动态检测失效流量的网络爬虫方法，包括以下步骤，首先通过分析网络请求信息构建动态检测失效流量模型的数据集，然后设计出动态检测失效流量的方法，接着对URL队列中的信息进行读取并且对Cookie等信息进行封装后发送请求，提取返回数据信息，并对返回数据信息进行失效流量检测，最后对重复返回数据信息进行处理，如是有效数据则持久化存储。本发明弥补了现有聚焦爬虫和增量爬虫在Cookie失效问题的处理上和数据重复处理上的不足之处，降低了爬取数据的失效和重复概率，对爬虫系统的设计提供了可借鉴的方案，提高了爬虫系统的整体性能。
著 录 项：
| 专利/申请号： | CN202110086472.3 | 专利名称： | 一种动态检测失效流量的网络爬虫方法 |
| 申请日： | 2021-01-22 | 申请/专利权人 | 浙江工业大学 |
| 专利类型： | 发明 | 地址： | 浙江省杭州市下城区潮王路18号 |
| 专利状态： | 已下证 查询审查信息 | 分类号： | G06F16/951搜分类 网络 网络传输 检测搜索 |
| 公开/公告日： | 转让价格： | 面议 | |
| 公开/公告号： | 交易状态： | 等待洽谈 搜索相似专利 |
| 交易方 | 企业 | 个人 |
| 买家 | 营业执照副本复印件（需盖公章） | 身份证复印件（签字） |
| 专利转让委托书（需盖公章）一式两份 | 专利转让委托书（需签字）一式两份 | |
| 专利转让协议（需盖公章）一式两份 | 专利转让协议（需签字）一式两份 | |
| 卖家 | 营业执照副本复印件（需盖公章） | 身份证复印件（需申请人签字） |
| 解除代理委托书（需盖公章）一式两份（如专利通过代理机构申请） | 解除代理委托书（需签字）一式两份（如专利通过代理机构申请） | |
| 专利转让协议（需盖公章）一式两份 | 专利转让协议（需签字）一式两份 | |
| 专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
| 专利证原件（若授权下证） | 专利证原件（若授权下证） |
| 日期 | 法律信息 | 备注 |
| 2022/05/17 | 授权 | |
| 2021/05/25 | 实质审查的生效 | IPC(主分类): G06F 16/951 专利申请号: 202110086472.3 申请日: 2021.01.22 |
| 2021/05/07 | 公开 |
