摘要
本发明公开了基于Storm的产品评论信息实时采集方法,该方法在基于Storm平台的采集系统进行,该方法包括产品抓取模块周期性的从网络中抓取数据,预处理模块根据产品Id初始化产品的属性参数,调度模块将数据封装成Tuple发射到Storm集群中,更新检测模块检查是否有新的评论产生,将其送到评论信息抓取模块,评论信息抓取模块检测到有评论信息更新的产品进行分布式抓取,访问间隔调整模块动态调整产品下一次采集的时间等。本发明将传统的网络爬虫与开源分布式流处理框架Storm相结合,使得传统的网络爬虫能够运行在流处理平台上,在实时信息采集性能上得到极大提高,具有很强的实际价值和现实意义。