网络爬虫技术 - 专利交易市场|柿子坊知识产权运营平台

发明已授权

本发明涉及一种动态检测失效流量的网络爬虫方法，包括以下步骤，首先通过分析网络请求信息构建动态检测失效流量模型的数据集，然后设计出动态检测失效流量的方法，接着对URL队列中的信息进行读取并且对Cookie等信息进行封装后发送请求，提取返回数据信息，并对返回数据信息进行失效流量检测，最后对重复返回数据信息进行处理，如是有效数据则持久化存储。本发明弥补了现有聚焦爬虫和增量爬虫在Cookie失效问题的处理上和数据重复处理上的不足之处，降低了爬取数据的失效和重复概率，对爬虫系统的设计提供了可借鉴的方案，提高了爬虫系统的整体性能。

📄 2021100864723 📂 G06F16_951 👤 浙江工业大学 📅 2021-01-22

¥0.0 元

咨询

动态图表类页面数据爬取方法、装置、终端及存储介质

发明已授权

一种动态图表类页面数据爬取方法，包括：采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；从待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；对爬取到的页面进行渲染并解析；通过自动化测试工具对解析后的页面进行截图得到截图图片并保存截图图片；根据预先训练的图片识别模型对截图图片进行识别，得到截图图片中的内容；判断待爬取数据的网站及对应爬取关键词的页面是否已遍历完；当确定都已被遍历过，则结束流程；否则，继续执行上述过程。本发明还提供一种动态图表类页面数据爬取装置、终端及存储介质。本发明能够自动爬取动态加载的图表类数据且能识别出图片中的内容。

📄 2018103499753 📂 G06F16_951 👤 平安科技(深圳)有限公司 📅 2018-04-18

¥0.0 元

咨询

交易保障 · 安心交易

资金托管

买家付款至平台，交易完成/过户成功后放款给卖家

权属尽调

专利有效性分析 + 权属状态核查，确保交易安全

合同审核

标准转让/许可合同模板，支持在线电子签署

全程代办

著录项目变更、备案手续全程代办，省心省力

成功交易案例

🔬

固态锂电池电解质专利包

转让方：中国科学院××研究所
受让方：××新能源科技有限公司
交易类型：独占许可
交易金额：¥320万

🧬

CRISPR基因编辑技术

转让方：××大学
受让方：××生物医药有限公司
交易类型：转让
交易金额：¥1,200万

⚡

SiC功率器件工艺专利

转让方：××半导体有限公司
受让方：××汽车电子集团
交易类型：转让
交易金额：¥680万

☀️

钙钛矿光伏组件技术

转让方：××科技公司
受让方：××能源集团
交易类型：开放许可
交易金额：¥50万/年

专利交易市场

一种动态检测失效流量的网络爬虫方法

动态图表类页面数据爬取方法、装置、终端及存储介质

求购专区 · 发布技术需求，卖家在线应标