发明专利已授权

一种基于MapReduce算法的并行识别、统计网页URL的方法

📄 申请号：CN201410227643.X 📄 发布日：2026/04/16

著录项目信息

申请日

2014-05-27

公开号

CN103986606A

公开日

2014-08-13

申请人

重庆邮电大学

法律状态

已下证

专利类型

发明

主分类号

H04L12_24

IPC 分类号

H04L12_24 , H04L29_08 ,

技术画像

所属领域

大数据处理大数据处理并行计算分布式计算

应用场景

网络爬虫, 搜索引擎, 互联网数据分析, 网络日志统计, 大数据处理

AI 智能推荐 · 同申请人专利 · 搜索相似专利

摘要

本发明公开了一种基于MapReduce算法的并行识别、统计网页URL的方法，包括步骤：将捕获的网络数据流量以block(块，默认大小64M)为单位分散存储在HDFS(分布式文件系统)中；提取URL之前，重组HTTP请求；执行Job1，从重组后的HTTP请求中并行提取URL；执行Job2，从提取出的URL中识别出页面URL。本方法提供了一种稳定、可靠、均匀且低成本的并行识别、统计网页URL的方法。

权利要求书 (12项) 说明书附图

……

图1

图2

图3

法律状态时间线

20170329

✅ 授权

20140910

?? 实质审查的生效：

20140813

📄 公开

Web网站产品详细信息的分类抓取及产品信息库建立方法

当前第 / 件

基于Hadoop平台的深度包检测系统及方法

同领域国内专利 · IPC: (H04L12_24)

H04L12_00 H04L12_02 H04L12_06 H04L12_10 H04L12_12 H04L12_14 H04L12_18 H04L12_22 H04L12_24 H04L12_26 H04L12_28 H04L12_40 H04L12_403 H04L12_42 H04L12_437 H04L12_44 H04L12_46 H04L12_50 H04L12_56 H04L12_58 H04L12_66 H04L12_70 H04L12_701 H04L12_703 H04L12_707 H04L12_709 H04L12_711 H04L12_715 H04L12_721 H04L12_723 H04L12_725 H04L12_727 H04L12_729 H04L12_733 H04L12_741 H04L12_747 H04L12_749 H04L12_751 H04L12_753 H04L12_759 H04L12_761 H04L12_771 H04L12_775 H04L12_801 H04L12_803 H04L12_805 H04L12_813 H04L12_815 H04L12_851 H04L12_853 H04L12_863 H04L12_875 H04L12_879 H04L12_901 H04L12_911 H04L12_917 H04L12_927 H04L12_931 H04L12_933 H04L12_935 H04L12_937 H04L12_947 覆盖62个领域

相似专利推荐 AI 驱动 · 同领域

暂无同领域相似专利推荐

议价

不含过户费

📋 交易方式： 委托待转让 📌 交易状态：在售 👁️ 浏览次数：36 ❤️ 收藏人数：93 📋 项目申报： 未申报

资金托管权属尽调包过户

🏢 淄博智来知识产权服务有限公司

✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)

王**¥-10万

李** 企业¥-8万

陈**¥-3万

查看全部出价

我要出价 (议价)