本发明公开了一种起源图的日志采集、压缩、存储方法，包括如下步骤：(1)采集系统审计日志数据，建立系统实体间的交互关系；(2)执行基于起源图的数据压缩策略，降低数据存储开销；(3)设计基于起源图的日志数据存储模型，进一步降低数据中的信息冗余，并设计基于起源图的图形数据库，该数据库具有特定于APT攻击的查询语言。该方法的优势在于：在保证数据的统一性和保真性的条件下高效地采集系统审计日志数据；在维护语义的同时尽可能降低系统审计日志数据的存储开销；设计简洁、高效、便捷的持久化数据管理系统，支持基于APT的攻击检测、威胁狩猎、溯源研判等安全分析任务。
📄 2022115172749
📂 G06F16_18
👤 浙江工业大学
📅 2022-11-30
一种基于大数据的预检预修可视化系统，包括智能数据采集模块、数据清洗预警模块、数据清洗检修模块、高危数据告警模块、数据快速存储模块和GIS数据动态加载模块。通过智能数据采集模块对数据进行智能分类，用以提高对数据文件的清洗效率；通过预警策略，将高危数据进行黑名单标记，并运用PLRU算法对黑名单进行更新迭代,大大改善了系统误报的能力；通过预修策略，将不完整的数据进行修复，大大提升了数据的利用率；通过数据快速存储模块将安全数据快速存储，提高了数据可视化实时加载速率与历史数据加载速率；最后将预检预修的数据流以GIS动态地图的方式加以展示，更有助于管理者更加直接的进行风控调度和系统优化。
📄 2018113229341
📂 G06F16_182
👤 浙江工业大学
📅 2018-11-08
本发明属于计算机技术领域，具体涉及一种基于掩码自编码器的日志数据压缩和解压缩方法。本发明包括，根据原始起源图划分的子图构建邻接矩阵、节点特征矩阵和行为权重矩阵；对节点特征矩阵进行掩码处理，将邻接矩阵、行为权重矩阵和经过掩码处理的节点特征矩阵送入编码器，编码器输出表征向量通过解码器得到重构起源图；通过比较重构起源图与原始起源图计算重构误差，迭代更新掩码自编码器模型的训练参数；利用训练好的模型的编码器压缩日志数据，利用训练好的模型的解码器解压缩。本发明通过引入掩码自编码器模型对日志数据进行压缩，可以大幅降低传输所需的带宽，同时保证数据在经过压缩与解压后能够保持足够的信息量，以供后续的分析和处理。
📄 202411401493X
📂 G06F16_18
👤 浙江工业大学
📅 2024-10-09
本发明针对不同类型电瓶车用户的行驶习惯提出一种基于Spark大数据平台的电瓶车用户行为习惯分析方法，所述方法包含以下步骤：步骤1)、采集安装在每辆电瓶车上传感器的状态数据，包括行驶平均速度、放电时间、充放电次数和电压值等4种属性状态，其中电压字段用于对电瓶车类型分类；步骤2)、在大数据Spark平台上分别调用K‑Means聚类算法接口和DBSCAN聚类算法对电瓶车用户数据集进行聚类；步骤3)、使用联合Sorgenfrei系数对这两种聚类结果进行相似性评价，调整簇数k后再循环执行步骤2)获得两种算法的聚类结果，并再次用联合Sorgenfrei系数计算聚类结果的相似性指标；步骤4)、选择当联合Sorgenfrei系数取得最大时的k值作为最优簇数，输出确定最优簇数后两种算法聚类结果的交集。
📄 2018108893756
📂 G06F16_182
👤 浙江工业大学
📅 2018-08-07
一种基于Spark框架的生成对抗网络分布式实现方法，采用以下步骤：主节点随机初始化网络配置并产生参数集；将数据文件直接上传至分布式文件系统；构造Spark的弹性分布式数据集；针对每个训练数据子集RDD，主节点将参数、配置、网络的更新态传递到所有从节点；每个从节点训练部分数据，并更新参数；通过数据并行的方式并行训练生成对抗网络模型，直至达到纳什均衡，训练完成。本方法是面向海量数据时生成对抗网络模型的分布式训练。同时，充分利用Spark基于内存计算框架、适用于递归计算的优势，能够加速生成对抗网络模型的训练，提高效率，并且有较好的可扩展性。
📄 2018100474947
📂 G06F16_182
👤 浙江工业大学
📅 2018-01-18
本发明涉及一种基于Spark的地图相交区域面积计算方法、系统及设备，属于地图信息系统领域，所述方法包括：根据经纬度和网格个数，将地图划分成网格形式，确定多边形区域包含的单元网格的编号或编码，将单元网格的编号或编码，存入Spark的分布式文件系统中，根据单元网格的编号或编码确定可能存在相交的多边形区域，判断可能存在相交的多边形区域的相交关系，计算对应的相交区域的面积，本发明通过建立空间索引，来快速且准确的找出地图区域中相交的区域，从而高效的计算海量地图数据场景下的相交区域的面积。
📄 2019109086922
📂 G06F16_182
👤 成都禾润软件有限公司
📅 2019-09-25
本发明公开了一种昆虫机器人海量图像数据并行处理平台。该平台包括刺激背包、昆虫机器人行为记录采集平台以及图像数据并行预处理集群平台，适用于动物电刺激、受激后行为记录存储和视频图像分布式并行预处理分析。构建基于Hadoop一主五从节点集群模型，并自定义适配于视频领域的MapReduce处理算法；对于海量离线的行为记录数据进行并行预处理分析，在MapReduce框架处理优化创新设计上，本发明设计出了一套新型图像并行处理模型，包括图像数据类型输入输出设计以及通用的预处理算法接口。本发明能够完成昆虫机器人的精确遥控遥测和环路控制以及行为的数据采集，并具有对海量数据高效预处理的能力。
📄 2020113314464
📂 G06F16_182
👤 杭州电子科技大学
📅 2020-11-24
本发明涉及开发、开发辅助、代码质量工具技术领域，本申请实施例提供的一种系统交互日志记录方法，包括：获取当前系统交互程序代码的日志注解，依据所述日志注解确定记录标识以及用于定位当前系统交互信息的主键标识；提取系统交互信息中具有该记录标识的系统交互信息，从具有该记录标识的系统交互信息中提取与所述主键标识相对应的主键信息；将所述主键信息和具有该记录标识的系统交互信息添加到预设日志表中。在本申请中通过系统中注解获取定位系统交互数据的主键信息以及日志表中相应数据的记录标识，减少日志记录代码的撰写量、降低了与业务代码无关的代码量，使得开发人员方便查看和快速定位，降低代码维护和扩展的难度。
📄 2019100789636
📂 G06F16_18
👤 平安科技(深圳)有限公司
📅 2019-01-28
本公开涉及数据处理技术领域，揭示了一种文件分发的控制方法及装置，包括：获取从数据库系统中所导出源文件的源文件标识；根据请求进行文件分发所提供的目标文件标识集合进行集合中的目标文件标识与源文件标识的匹配；根据匹配结果，对源文件标识和目标文件标识标注匹配成功标记或未匹配成功标记；根据未匹配成功标记生成所导出源文件的异常提示；以及根据匹配成功标记进行所导出源文件的分发。一方面，针对未匹配成功的源文件及时进行提示以及时处理；另一方面，根据匹配成功标记进行源文件的分发，从而保证了所分发文件的准确性，解决了现有技术中文件分发后下游用户获取不到所分发文件的问题。
📄 2018113487305
📂 G06F16_182
👤 平安科技(深圳)有限公司
📅 2018-11-13
本发明提供了一种基于HDFS的业务数据管理方法及终端设备，在HDFS中创建第一文件夹；将业务所对应的第一业务数据存储至第一文件夹，业务数据的标识部分包含第一标识和第二标识，第一标识为业务在HDFS中的全局唯一标识，第二标识为业务数据在HDFS中的全局唯一标识；若第一业务数据正确，则在预设表单中创建第一业务数据中的第二标识与有效标志的唯一映射关系，若第一业务数据错误，则在预设表单中创建第一业务数据中的第二标识与无效标志的唯一映射关系；根据第一文件夹中的业务数据的标识部分和预设表单，在HDFS中读取用于运行业务的业务数据。通过业务数据的标识部分和预设表单，即可读取正确的业务数据，避免了错误的业务数据所带来的系统运行错误。
📄 2018112509171
📂 G06F16_182
👤 平安科技(深圳)有限公司
📅 2018-10-25
本发明公开了一种分布式文件存储集群的监控方法、系统、设备及介质，所述方法包括：监控服务器接收监控平台发送的分布式文件存储集群的监控配置信息，以及接收监控客户端定时发送的分布式文件存储集群的内部状态，对集群的内部状态进行统计分析，得到监控项目的实时监控数据，若监控项目的实时监控数据符合异常条件，则监控服务器生成异常问题，并根据异常问题生成异常修复指令发送给分布式文件存储集群的中心服务器，以使中心服务器调用相应的异常修复方案对异常问题进行修复。本发明通过对分布式文件存储集群的实时监控，能够及时发现异常问题，并对异常问题进行修复，及时维持集群的健康状态，提高分布式文件存储集群的运维效率。
📄 2018110871793
📂 G06F16_182
👤 平安科技(深圳)有限公司
📅 2018-09-18
本发明公开了一种电子装置、分布式系统日志查询方法及存储介质，通过在预先确定的数据库中存储日志的生成时间及所述日志在预先确定的日志存储文件中的存储地址之间的映射关系；在接收到客户端发送的带有查询参数的日志查询指令后，根据预先确定的日志查询规则分析所述查询参数与所述映射关系，确定与查询时间相匹配的日志生成时间的存储地址；获取确定的存储地址中存储的日志，基于所述查询关键字遍历获取的日志查询出与所述查询关键字相匹配的预设类型关键字，并将相匹配的预设类型关键字对应的日志返回该客户端。节省了日志查询过程中对主机资源的占用率，提高查询效率，且操作过程简单易实现。
📄 2018100429918
📂 G06F16_18
👤 平安科技(深圳)有限公司
📅 2018-01-17
柿子坊 · 知识产权运营
柿子坊知识产权运营平台