咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
著 录 项 目:
专利/申请号: | CN201710236260.2 | 专利名称: | 一种大数据网络爬虫分页选择方法和系统 |
申请日: | 2017-04-12 | 申请/专利权人 | 成都四方伟业软件股份有限公司 |
专利类型: | 发明 | 地址: | 四川省成都市高新区科园三路4号1栋2层 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F17/30分类检索 数据服务专利转让搜索 |
公开/公告日: | 2017-08-18 | 转让价格: | 【平台担保交易】 |
公开/公告号: | CN107066576A | 交易状态: | 等待洽谈 搜索相似专利 |
摘 要:本发明公开了一种大数据网络爬虫分页选择方法和系统。方法包括以下步骤:解析爬虫脚本;获取匹配符,对爬虫脚本内容中的标签信息进行匹配;将匹配成功的标签的特征值存入URL队列中;获取URL队列中的URL连接地址,校验URL连接地址;获取校验后的URL连接地址,进行地址匹配;解析地址匹配成功的URL地址的网页,获取分页信息;系统包括第一解析模块,第一匹配模块,存储模块,获取模块,第二匹配模块,第二解析模块和配置模块。本发明解决了当网页中的页面按钮HTML结构发生改变时,不能循环爬取网页数据的问题,能够精准识别数据的分页标签,有效防止循环爬取数据过程中断,提升了网页数据的爬取效率。
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |