发明专利已授权

网络爬虫方法、终端及存储介质

📄 申请号：CN201810349987.6 📄 发布日：2026/06/02

著录项目信息

申请日

2018-04-18

公开号

CN108551452B

公开日

2021-01-08

申请人

平安科技(深圳)有限公司

法律状态

已下证

专利类型

发明

主分类号

H04L29_06

IPC 分类号

H04L29_06 , H04L12_24 , G06F16_953 ,

技术画像

所属领域

网络爬虫网络爬虫网页解析数据采集

应用场景

搜索引擎, 大数据分析, 舆情监测, 价格监测, 市场调研

AI 智能推荐 · 同申请人专利 · 搜索相似专利

摘要

一种网络爬虫方法，包括：将每隔预设时间段获取的多个代理IP存储于预先设置的代理IP池中；对所述代理IP池中的每个代理IP进行逐个验证，判断所获取的代理IP的有效性；将确定为有效的代理IP记录于所述代理IP池中的白名单中，将确定为无效的代理IP记录于所述代理IP池中的黑名单中；当侦测到当前的代理IP满足预先设置的代理替换条件时，从所述代理IP池中的所述白名单中选取出一个代理IP；及将选取出的代理IP作为新的代理IP进行数据爬取。本发明还提供一种终端及存储介质。本发明能够有效地解决同一代理IP在长时间、多次快速、大量爬取数据的过程中的IP受限问题。

权利要求书 (12项) 说明书附图

……

图1

图2

图3

法律状态时间线

异常行为对象的识别方法、终端设备及介质

当前第 / 件

动态图表类页面数据爬取方法、装置、终端及存储介质

同领域国内专利 · IPC: (H04L29_06)

H04L29_00 H04L29_02 H04L29_06 H04L29_08 H04L29_12 覆盖5个领域

相似专利推荐 AI 驱动 · 同领域

暂无同领域相似专利推荐

议价

不含过户费

📋 交易方式： 委托待转让 📌 交易状态：在售 👁️ 浏览次数：53 ❤️ 收藏人数：93 📋 项目申报： 未申报

资金托管权属尽调包过户

🏢 淄博智来知识产权服务有限公司

✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)

王**¥-10万

李** 企业¥-8万

陈**¥-3万

查看全部出价

我要出价 (议价)