专利交易市场

本发明特别涉及一种通用的网页主题内容提取方法和系统，方法包括以下步骤：构建目标网页的DOM树，对DOM树的节点进行清理，并按照与正文内容的相关性对剩余节点进行属性标记；遍历DOM树，将DOM树的剩余节点分类缓存；根据各个类别中节点与所述可视标题节点的距离判断所述节点的内容是否为主题内容，并根据判断结果完成对目标网页主题内容的提取。本发明提供了一种更为优化的基于语义的网页信息抽取方法，其基于页面结构上存在的强关联关系，对DOM树的正文可视标题节点进行识别并对其他节点进行分类缓存，然后以DOM树中其他类别节点与正文可视标题节点的距离作为判定节点是否属于主题内容的重要依据，从而提高了网页信息抽取的精度和效率。

一种基于可视块的多记录型动态网页信息提取方法，包含以下步骤：Step 1:网页解析和渲染；Step 2:构建可视块和可视块树；Step 3:页面预处理；Step 4:数据记录块识别；Step 5:提取网页数据记录。本发明具有以下优点：不需要同个网站的多张页面用于对比和参照，也能够完成对动态多记录型网页的数据提取，同时准确率和精确率维持在一个较高的水准；本发明针对某一个网站进行训练之后，也能够对不同的未知网站进行泛化。

本发明实施例公开了一种网页内容提取方法，包括：获取待提取网页对应的文档对象模型DOM文档；获取所述DOM文档对应的解析模板；所述解析模板中包括需要提取的DOM文档元素、所述DOM文档元素的类型、所述DOM文档元素在所述DOM文档中的位置以及输出结果格式；针对所述解析模板中包括的任一需要提取的DOM文档元素，根据所述解析模板中包括的该DOM文档元素类型，确定该DOM文档元素的解析器；根据所述解析器从该DOM文档元素在所述DOM文档中的位置中提取该DOM文档元素；以解析模板中定义的输出结果格式输出提取结果。本发明实施例还公开了一种网页内容提取设备。采用本发明，可以提高网页内容提取效率。