本发明公开了分布式系统故障判断与恢复方法、应用该方法的云操作系统以及计算平台，涉及故障判断的技术领域，使用Corosync获取集群内若干组节点的状态数据信息，并结合分布式一致性算法，准确判断出故障节点并做出相应标记，此方法确保了系统能够实时监控节点状态，快速识别故障节点，避免因单个节点故障导致系统整体性能下降。通过检测分布式操作系统内相关资源运行数据信息及磁盘状态数据信息，构建健康影响集合，通过这些全面的数据收集和分析，可以更加精确地评估每个故障节点的健康状态，提供更准确的恢复难易程度预测。利用深度学习技术结合训练后的健康预测模型，对健康影响集合进行特征提取和分析计算。
📄 2024107541276
📂 G06F11_07
👤 广东琴智科技研究院有限公司
📅 2024-06-12
本申请属于数据处理领域，尤其涉及一种分布式故障修复方法、智能计算云操作系统以及计算平台，该方法包括：获取智能计算云操作系统的实时运行数据；对实时运行数据进行流式分割处理，得到实时运行数据对应的多个实时运行数据流；将多个实时运行数据流并行输入到流式可扩展异常检测模型的分支模块中，并由多个分支模块分别执行对应实时运行数据流的动态模糊检测处理，以获得多个实时运行数据流中的异常运行数据流；通过动态故障修复模型，汇总异常运行数据流，并动态修复智能计算云操作系统。该方法利用流式可扩展异常检测模型并行处理实时运行数据，实现实时异常检测和动态故障修复，以增强系统的稳定性和可靠性。
📄 2024104160840
📂 G06F11_07
👤 广东琴智科技研究院有限公司
📅 2024-04-08
一种面向高通量数据流的分布式索引结构及负载均衡方法，所述方法包括以下过程：高通量数据流的接收，底层索引构建和发布，顶层索引构建和发布，数据流和分布式索引的高效存储，查询处理，集群负载均衡，提供高并发的近实时查询服务。本发明提出一种面向多源、高通量大数据流的分布式索引结构及负载均衡方法，实现多源、高通量大数据流的接收，对海量数据流快速构建索引并高效存储，提供高并发的近实时查询服务，对分布式集群各节点实现负载均衡。
📄 2021107522958
📂 G06F16_22
👤 浙江工业大学
📅 2021-07-02
本发明涉及一种异构Spark集群的节点优先级调优方法，本发明在建立节点优先级评价指标体系的基础上，使用层次分析法确定各个性能评价指标的初始权重，进一步使用BP神经网络对初始权重进行优化，生成优化的节点优先级。本发明提出的节点优先级调优方法能够提高Spark系统的运行效率，缩短作业执行时间。相比Spark的默认调度算法和使用初始节点优先级的Spark任务调度算法SDASA，本发明提出的算法能够有效提高集群系统的性能。相对于上述两种算法，当执行不同数据量的同种任务时，使用优化的节点优先级集群性能平均提升10.74％和5.96％；当执行不同种任务时，使用优化的节点优先级集群性能平均提升12.03％和6.05％。
📄 2020109074805
📂 G06Q10_06
👤 浙江工业大学
📅 2020-09-02
一种基于任务分割的分布式图计算系统，包括：客户端，用于负责计算任务的分割与上传、图数据的处理与上传、定时检测是否所有子任务执行完毕、完成部分简单计算任务；服务端，用于接收并管理客户端上传的子任务，将任务分发至工作端执行；工作端，用于完成子任务的计算，上传计算结果；数据中心，用于管理客户端处理后的图数据、任务状态表及计算结果；其中服务端使用Gearman任务分发框架，客户端与工作端依据计算任务进行设计，数据中心采用MongoDB数据库。本发明提出了一种基于任务分割的分布式图计算系统，其图数据统一存储于数据中。通过这种方式，可以避免大量的子图间通信引起的消耗，从而提升系统计算效率。
📄 2019110636158
📂 G06F9_46
👤 浙江工业大学
📅 2019-11-04
一种基于Spark框架的生成对抗网络分布式实现方法，采用以下步骤：主节点随机初始化网络配置并产生参数集；将数据文件直接上传至分布式文件系统；构造Spark的弹性分布式数据集；针对每个训练数据子集RDD，主节点将参数、配置、网络的更新态传递到所有从节点；每个从节点训练部分数据，并更新参数；通过数据并行的方式并行训练生成对抗网络模型，直至达到纳什均衡，训练完成。本方法是面向海量数据时生成对抗网络模型的分布式训练。同时，充分利用Spark基于内存计算框架、适用于递归计算的优势，能够加速生成对抗网络模型的训练，提高效率，并且有较好的可扩展性。
📄 2018100474947
📂 G06F16_182
👤 浙江工业大学
📅 2018-01-18
本发明涉及一种基于迭代处理的主对偶分布式加速优化方法，属于大规模机器学习分布式优化技术领域。该方法基于迭代处理的分布式计算方式，采用Nesterov梯度加速技术，主要包括以下步骤：S1：确定目标函数；S2：搭建通信网络；S3：变量初始化；S4：选取合适的步长和动量参数；S5：变量更新。本方法采用分布式计算方式，具有广泛的应用领域，例如：机器学习、信号与信息处理、资源分配等；同时，采用Nesterov梯度加速技术，极大地提高了所提算法的收敛速度。本方法为无向通信网络下的分布式优化的应用奠定了理论基础，扩大了其应用范围。
📄 2020107932214
📂 G06F17_16
👤 西南大学
📅 2020-08-07
本发明公开了一种基于牛顿动量的分布式加速复合优化方法及系统，在多个智能体连接为无向网络的基础上，通过建立光滑结构和非光滑结构相结合的目标函数，使得处理的问题覆盖范围更广，建立的模型更准确，能够以线性速度收敛至全局最优解，并且通过引入动量加速项和梯度追踪项使得收敛速度较同类方法更快，能有效提升大规模智能自动化设备数据的处理速度。
📄 2020107095807
📂 G06F30_27
👤 西大(重庆)智能设备有限公司
📅 2020-07-22
本发明提供了一种GPU流域径流模拟分布式调度方法及系统，该方法包括：将流域数据分为若干个子块，并将径流汇流计算过程分为时间间隔相等的时间片；将所述若干个子块分别发送至服务器上不同的计算机进行通用计算；所述服务器上不同的计算机在接收到一子块处理任务后，始终负责对该子块的径流模拟作迭代处理；在迭代处理中，子块在每一次迭代后，与相邻子块交换边缘数据。本发明的技术方案很好地解决了传统模型在计算量巨大和CPU性能瓶颈间的矛盾，突破了GPU分块计算中显存和内存大量数据频繁交换的瓶颈，提高了径流汇流模拟的效率。
📄 2018100882471
📂 G06F9_48
👤 国科创(北京)信息技术有限公司
📅 2018-01-30
本发明公开了一种基于分布式的异构处理框架构建方法，包括以下步骤：发布模块发送请求数据并通过订阅第一消息阻塞当前线程；服务调度模块接收请求数据并将其封装为中间文件包并写入缓存模块并通过订阅第二消息阻塞当前线程；计算引擎模块调用中间文件包并根据配置数据加载对应数据并处理，将处理后的最终文件包存储至缓存模块；计算引擎模块向服务调度模块发布第二消息；服务调度模块接收第二消息并识别第二结束标志，取消订阅第二消息；服务调度模块向发布模块发布第一消息；发布模块接收第一消息并识别第一结束标志，取消订阅第一消息；发布模块从缓存模块读取最终文件包获取数据处理结果；本发明提高了数据线上实时处理效率及消息的存储能力。
📄 2018105901375
📂 G06F16_27
👤 成都信息工程大学
📅 2018-06-08
本发明涉及云监控，提出分布式集群服务分配方法，包括：获取分布式集群中各docker容器对第一优先级服务的响应时间；若有第一docker容器对第一优先级服务的响应时间大于响应时间阈值，则确定该第一docker容器的第一资源利用率；若第一资源利用率小于预设的资源利用率阈值，则关闭该第一docker容器中运行的第二优先级服务；若关闭之后，该第一docker容器对第一优先级服务请求的响应时间仍大于预设的响应时间阈值，则确定第二docker容器的可用资源；若有可用资源大于或者等于预设的可用资源阈值，则将该第二docker容器对应的可用资源分配至第一docker容器。能够节约资源以及提高服务时间和成本。本发明还提出一种电子装置及存储介质。
📄 2018112551041
📂 H04L67_60
👤 平安科技(深圳)有限公司
📅 2018-10-26
本发明提供了一种分布式计算系统任务分配方法及相关设备。所述方法包括：获取多个待处理任务；根据多个待处理任务的属性值对多个待处理任务进行排序；将多个待处理任务分配给分布式计算系统的多个计算设备；计算每个计算设备的已分配任务的属性值之和，计算最大的属性值之和与最小的属性值之和的第一差值；计算第一计算设备的每个已分配任务的属性值与第二计算设备的每个已分配任务的属性值的第二差值；交换第一待交换任务与第二待交换任务；若第一差值满足预设条件，将取得第一差值的任务分配表作为最终的分配结果；将待处理任务下发给所述多个计算设备。本发明能够将多个任务根据其属性值均衡分配给分布式计算系统的多个计算设备。
📄 2019107317119
📂 G06F9_48
👤 平安科技(深圳)有限公司
📅 2019-08-08
柿子坊 · 知识产权运营
柿子坊知识产权运营平台