咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本申请提供一种数据抓取方法、装置、存储介质及电子设备,涉及互联网技术领域。其中方法包括:获取用户的数据抓取请求信息,确定待抓取数据以及待抓取数据所在的待抓取网站;根据待抓取数据对应的数据特征以及待抓取网站对应的网站特征,确定对待抓取数据的第一抓取任务;对第一抓取任务进行分解,确定多个爬虫程序在时间轮节点上的第二抓取任务;控制各爬虫程序根据第二抓取任务对待抓取数据进行数据抓取。针对大规模的待抓取数据,本申请通过数据特征和网站特征快速制定初步的第一抓取任务,再通过时间轮为多个爬虫程序合理分配第二抓取任务,实现多个爬虫程序协同高效抓取数据,从而能够有效提高数据抓取的效率。
著 录 项:
专利/申请号: | CN202410133270.3 | 专利名称: | 一种数据抓取方法、装置、存储介质及电子设备 |
申请日: | 2024-01-30 | 申请/专利权人 | 杭州智世数据科技有限公司 |
专利类型: | 发明 | 地址: | 浙江省杭州市西湖区转塘科技经济区块16号6幢682室 |
专利状态: | 授权未缴费 查询审查信息 | 分类号: | G06F16/951搜分类 计算机硬件 电子设搜索 |
公开/公告日: | 2024-05-03 | 转让价格: | 面议 |
公开/公告号: | CN117972182A | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |