咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明公开了一种基于Scrapy框架的数据采集方法、系统及存储介质,使用先后发送两次请求,第一次请求得到更新cookie、第二次请求携带更新的cookie得到数据的方式,结合延迟请求和先后发送两次请求,每次请求都使用上一次请求返回的更新cookie,请求后提取出返回的更新cookie,同时解决了ip限制和动态cookie的限制,解决了现有技术中难以通过爬虫爬取动态网页数据的问题,实现了克服动态网页的反爬机制、高效快速的获得所需数据的目的。
著 录 项:
专利/申请号: | CN202010784262.7 | 专利名称: | 一种基于Scrapy框架的数据采集方法、系统及存储介质 |
申请日: | 2020-08-06 | 申请/专利权人 | 成都信息工程大学 |
专利类型: | 发明 | 地址: | 四川省成都市西南航空港经济开发区学府路1段24号 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F16/951搜分类 计算机硬件 数据服务 SCR 采 P 系统及存储介质搜索 |
公开/公告日: | 2020-11-03 | 转让价格: | 面议 |
公开/公告号: | CN111881337A | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |
2021/06/01 | 授权 | |
2020/11/20 | 实质审查的生效 | IPC(主分类): G06F 16/951 专利申请号: 202010784262.7 申请日: 2020.08.06 |
2020/11/03 | 公开 |