专利交易市场

本发明公开了基于Storm的产品评论信息实时采集方法，该方法在基于Storm平台的采集系统进行，该方法包括产品抓取模块周期性的从网络中抓取数据,预处理模块根据产品Id初始化产品的属性参数，调度模块将数据封装成Tuple发射到Storm集群中，更新检测模块检查是否有新的评论产生，将其送到评论信息抓取模块，评论信息抓取模块检测到有评论信息更新的产品进行分布式抓取，访问间隔调整模块动态调整产品下一次采集的时间等。本发明将传统的网络爬虫与开源分布式流处理框架Storm相结合，使得传统的网络爬虫能够运行在流处理平台上，在实时信息采集性能上得到极大提高，具有很强的实际价值和现实意义。

本发明的实施例公开一种后置封装的流式数据解析方法、装置及电子设备，涉及数据解析技术，能够提升流式解析效率。所述后置封装的流式数据解析方法包括：确定接收的文件中的数据为采用后置封装的流式数据；解析所述后置封装的流式数据的前第一阈值字节的信息，得到原子结构信息；提取原子结构信息中后第二阈值字节的信息，得到类型结构信息，所述第一阈值为所述第二阈值的两倍；在确定所述类型结构信息标识为索引结构后，依据所述索引结构对请求的数据进行解析。本发明适用于MP4‑后置封装的流式数据进行解析。