咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明公开了基于分类管理的多线程网络爬虫方法的信息实时更新系统,该系统包括页面获取模块,页面处理模块,模块化机制模块,多线程循环模块,标记队列管理模块,存储模块。系统采用多线程网络爬虫并加以改进,引入标记思想,对已经爬取结束的线程使用队列方式进行标记,解决一般多线程方法中循环爬虫时产生的相互干扰的问题。系统采用模块化机制实现各个不同信息的采集,以便于动态的增加、减少目标文件,方便整个系统的维护修改。本发明方法很好地利用了网络带宽资源,提高了网络信息采集的效率,并减少了多线程爬虫时的干扰,特别适用于信息实时更新系统的网络爬虫问题。
著 录 项:
专利/申请号: | CN201410633279.7 | 专利名称: | 基于分类管理的多线程网络爬虫方法和信息实时更新系统 |
申请日: | 2014-11-11 | 申请/专利权人 | 南京邮电大学 |
专利类型: | 发明 | 地址: | 江苏省南京市鼓楼区新模范马路66号 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F16/951搜分类 网络传输搜索 |
公开/公告日: | 2019-02-19 | 转让价格: | 面议 |
公开/公告号: | CN104376063B | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |