一种基于代工模式的动态网页爬虫方法及系统

摘     要：本发明公开了一种基于代工模式的动态网页爬虫方法及系统，包括：接收业务信息，配置爬虫参数，业务评估，做准备工作；分配系统资源，发起多个独立进程的业务爬虫；采用模拟浏览器模式，对动态网页原始URL进行爬取，并返回目标静态数据内容的URL；审查URL的有效性和非重复性，并审查后的爬取任务，构造生产任务消息列表，发起多个线程的生产爬虫；采用自动化程序模式，对静态的URL页面进行爬取，并返回目标数据和附件文件；对返回内容处理并存储；导出数据。本发明分别构造了业务爬虫和生产爬虫，基于代工模式对动态网页和静态内容采取不同的爬取策略，最大限度地利用系统资源，实现对动态网页数据进行大规模、快速爬取。

著 录 项： 

• 1． 买家选定所需专利，确认国家手续办理方，下单，确认交易合同；
  2． 卖家确认专利可交易；
  3． 买家支付交易款项到平台；
  4． 买卖双方签订《专利转让委托书》、《转让协议》、《解除代理委托书》各一式两份并提交给办理国家手续方；
  5． 办理国家手续方提交办理官方手续，国家知识产权局1个月左右下发《著录项目变更手续合格通知书》；
  6． 买家确认收到《专利证书》、《著录项目变更手续合格通知书》；
  7． 平台把交易款项支付给卖家，至此专利转让合同完成。
  

• 交易方	企业	个人
  买家	营业执照副本复印件（需盖公章）	身份证复印件（签字）
  	专利转让委托书（需盖公章）一式两份	专利转让委托书（需签字）一式两份
  	专利转让协议（需盖公章）一式两份	专利转让协议（需签字）一式两份
  卖家	营业执照副本复印件（需盖公章）	身份证复印件（需申请人签字）
  	解除代理委托书（需盖公章）一式两份（如专利通过代理机构申请）	解除代理委托书（需签字）一式两份（如专利通过代理机构申请）
  	专利转让协议（需盖公章）一式两份	专利转让协议（需签字）一式两份
  	专利请求书或手续合格通知书、授权通知书复印件	专利请求书或手续合格通知书、专利授权通知书复印件
  	专利证原件（若授权下证）	专利证原件（若授权下证）

• 日期	法律信息	备注
  2023/02/24	授权
  2020/10/13	实质审查的生效	IPC(主分类): G06F 16/951 专利申请号: 202010488720.2 申请日: 2020.06.02
  2020/09/11	公开