一种基于大数据的预检预修可视化系统，包括智能数据采集模块、数据清洗预警模块、数据清洗检修模块、高危数据告警模块、数据快速存储模块和GIS数据动态加载模块。通过智能数据采集模块对数据进行智能分类，用以提高对数据文件的清洗效率；通过预警策略，将高危数据进行黑名单标记，并运用PLRU算法对黑名单进行更新迭代,大大改善了系统误报的能力；通过预修策略，将不完整的数据进行修复，大大提升了数据的利用率；通过数据快速存储模块将安全数据快速存储，提高了数据可视化实时加载速率与历史数据加载速率；最后将预检预修的数据流以GIS动态地图的方式加以展示，更有助于管理者更加直接的进行风控调度和系统优化。
📄 2018113229341
📂 G06F16_182
👤 浙江工业大学
📅 2018-11-08
本发明针对不同类型电瓶车用户的行驶习惯提出一种基于Spark大数据平台的电瓶车用户行为习惯分析方法，所述方法包含以下步骤：步骤1)、采集安装在每辆电瓶车上传感器的状态数据，包括行驶平均速度、放电时间、充放电次数和电压值等4种属性状态，其中电压字段用于对电瓶车类型分类；步骤2)、在大数据Spark平台上分别调用K‑Means聚类算法接口和DBSCAN聚类算法对电瓶车用户数据集进行聚类；步骤3)、使用联合Sorgenfrei系数对这两种聚类结果进行相似性评价，调整簇数k后再循环执行步骤2)获得两种算法的聚类结果，并再次用联合Sorgenfrei系数计算聚类结果的相似性指标；步骤4)、选择当联合Sorgenfrei系数取得最大时的k值作为最优簇数，输出确定最优簇数后两种算法聚类结果的交集。
📄 2018108893756
📂 G06F16_182
👤 浙江工业大学
📅 2018-08-07
一种基于Spark框架的生成对抗网络分布式实现方法，采用以下步骤：主节点随机初始化网络配置并产生参数集；将数据文件直接上传至分布式文件系统；构造Spark的弹性分布式数据集；针对每个训练数据子集RDD，主节点将参数、配置、网络的更新态传递到所有从节点；每个从节点训练部分数据，并更新参数；通过数据并行的方式并行训练生成对抗网络模型，直至达到纳什均衡，训练完成。本方法是面向海量数据时生成对抗网络模型的分布式训练。同时，充分利用Spark基于内存计算框架、适用于递归计算的优势，能够加速生成对抗网络模型的训练，提高效率，并且有较好的可扩展性。
📄 2018100474947
📂 G06F16_182
👤 浙江工业大学
📅 2018-01-18
本发明涉及一种基于Spark的地图相交区域面积计算方法、系统及设备，属于地图信息系统领域，所述方法包括：根据经纬度和网格个数，将地图划分成网格形式，确定多边形区域包含的单元网格的编号或编码，将单元网格的编号或编码，存入Spark的分布式文件系统中，根据单元网格的编号或编码确定可能存在相交的多边形区域，判断可能存在相交的多边形区域的相交关系，计算对应的相交区域的面积，本发明通过建立空间索引，来快速且准确的找出地图区域中相交的区域，从而高效的计算海量地图数据场景下的相交区域的面积。
📄 2019109086922
📂 G06F16_182
👤 成都禾润软件有限公司
📅 2019-09-25
本发明公开了一种昆虫机器人海量图像数据并行处理平台。该平台包括刺激背包、昆虫机器人行为记录采集平台以及图像数据并行预处理集群平台，适用于动物电刺激、受激后行为记录存储和视频图像分布式并行预处理分析。构建基于Hadoop一主五从节点集群模型，并自定义适配于视频领域的MapReduce处理算法；对于海量离线的行为记录数据进行并行预处理分析，在MapReduce框架处理优化创新设计上，本发明设计出了一套新型图像并行处理模型，包括图像数据类型输入输出设计以及通用的预处理算法接口。本发明能够完成昆虫机器人的精确遥控遥测和环路控制以及行为的数据采集，并具有对海量数据高效预处理的能力。
📄 2020113314464
📂 G06F16_182
👤 杭州电子科技大学
📅 2020-11-24
本公开涉及数据处理技术领域，揭示了一种文件分发的控制方法及装置，包括：获取从数据库系统中所导出源文件的源文件标识；根据请求进行文件分发所提供的目标文件标识集合进行集合中的目标文件标识与源文件标识的匹配；根据匹配结果，对源文件标识和目标文件标识标注匹配成功标记或未匹配成功标记；根据未匹配成功标记生成所导出源文件的异常提示；以及根据匹配成功标记进行所导出源文件的分发。一方面，针对未匹配成功的源文件及时进行提示以及时处理；另一方面，根据匹配成功标记进行源文件的分发，从而保证了所分发文件的准确性，解决了现有技术中文件分发后下游用户获取不到所分发文件的问题。
📄 2018113487305
📂 G06F16_182
👤 平安科技(深圳)有限公司
📅 2018-11-13
本发明提供了一种基于HDFS的业务数据管理方法及终端设备，在HDFS中创建第一文件夹；将业务所对应的第一业务数据存储至第一文件夹，业务数据的标识部分包含第一标识和第二标识，第一标识为业务在HDFS中的全局唯一标识，第二标识为业务数据在HDFS中的全局唯一标识；若第一业务数据正确，则在预设表单中创建第一业务数据中的第二标识与有效标志的唯一映射关系，若第一业务数据错误，则在预设表单中创建第一业务数据中的第二标识与无效标志的唯一映射关系；根据第一文件夹中的业务数据的标识部分和预设表单，在HDFS中读取用于运行业务的业务数据。通过业务数据的标识部分和预设表单，即可读取正确的业务数据，避免了错误的业务数据所带来的系统运行错误。
📄 2018112509171
📂 G06F16_182
👤 平安科技(深圳)有限公司
📅 2018-10-25
本发明公开了一种分布式文件存储集群的监控方法、系统、设备及介质，所述方法包括：监控服务器接收监控平台发送的分布式文件存储集群的监控配置信息，以及接收监控客户端定时发送的分布式文件存储集群的内部状态，对集群的内部状态进行统计分析，得到监控项目的实时监控数据，若监控项目的实时监控数据符合异常条件，则监控服务器生成异常问题，并根据异常问题生成异常修复指令发送给分布式文件存储集群的中心服务器，以使中心服务器调用相应的异常修复方案对异常问题进行修复。本发明通过对分布式文件存储集群的实时监控，能够及时发现异常问题，并对异常问题进行修复，及时维持集群的健康状态，提高分布式文件存储集群的运维效率。
📄 2018110871793
📂 G06F16_182
👤 平安科技(深圳)有限公司
📅 2018-09-18
本发明涉及一种数据查询的优化方法和系统，所述方法包括：接收终端发送的查询请求，将所述查询请求发送至JDBC接口；通过JDBC接口判断所述查询请求中是否包括权限关键字；若是，则将所述查询请求导入关系型数据库，在所述关系型数据库中检索与权限关键字匹配的用户权限标识，根据所述用户权限标识和所述查询请求在大数据平台中查询；否则，直接根据所述查询请求在大数据平台中查询；将查询结果返回至终端。采用本方法能够有效提高数据查询效率。
📄 2016105786081
📂 G06F16_182
👤 平安科技(深圳)有限公司
📅 2016-07-21
本发明公开了一种基于区块链的建模工器具管理方法及系统，涉及区块链技术领域，该方法包括将模型文件上传到分布式文件系统；记录模型文件的上传时间并计算模型文件的存储地址；通过数据分类模型对模型文件进行分类，得到分类结果；根据分类结果，将模型文件的相关数据添加到区块链；根据区块链数据，对模型文件的更改进行管理；其中，相关数据包括存储地址、添加时间、上传时间、建模工器具标识符、前置区块哈希值和当前区块哈希值。本发明通过对模型文件进行分类，根据分类结果将模型文件的存储地址以及其他相关数据存储到对应的区块链中，通过区块链数据对数据的添加进行验证，提高了建模工器具建模数据存储的效率和准确性。
📄 2024114560002
📂 G06F16_182
👤 深圳市匠筑科技有限公司
📅 2024-10-18
本发明公开了一种大数据的分布式存储系统，该大数据的分布式存储系统包括名字服务节点、任务派发节点和数据服务节点，任务派发节点接收客户端发送的数据读写命令，并将接收到的数据读写命令、访问信息以及文件的全局路径信息发送至名字服务节点；名字服务节点根据访问信息和全局路径信息从对应的树结构中获取数据服务节点对应的访问信息，并向数据服务节点发送读写操作命令；数据服务节点根据读写操作命令读或者写存储在对应数据服务节点上的文件数据，并将执行结果数据返回至任务派发节点，由任务派发节点将执行结果数据返回至对应的客户端，解决了对大数据的分布式存储系统中的任意数据的快速读写问题，提高了数据读写效率，节约了时间。
📄 2019101113423
📂 G06F16_182
👤 哈尔滨学院
📅 2019-02-12
本发明提供一种面向流数据的分布式文件系统及流数据写入方法，面向流数据的分布式文件系统包括存储单元、目录结构和文件结构；目录结构为三层结构，分别为文件系统根目录NetRoot、文件系统文件夹NetDir和文件系统文件NetFile；文件系统文件NetFile结构为：按存储天数周期T，自上而下划分为T层；对于任意的层，按小时分区，每1小时1个分区，对于任意的分区，按所述功能组包含的节点数量分块，包含N个数据块。优点为：本发明提供的面向流数据的分布式文件系统，提供了相对简单的目录结构和文件结构，能够低成本高效率的满足流数据存储、备份和循环覆盖的功能需求，并方便快速的检索和读取。
📄 201910020732X
📂 G06F16_182
👤 吴思齐
📅 2019-01-09
柿子坊 · 知识产权运营
柿子坊知识产权运营平台