本发明提出了一种基于车路协同及强化学习的环卫机器人车调度方法及系统，包括：对环卫机器人车通信进行部署，通过基于车载自组织网络的通信网络实现车辆间的数据传输和通信；通过路况感知装置获取路况数据和利用传感器对环卫机器人车周围的环境进行实时感知和数据采集；采用改进的分层双重DQN算法，利用已有的数据，不断优化环卫机器人车的路径规划和调度策略；实时交换环卫机器人车与道路基础设施之间的信息；建立监控管理平台；对系统进行测试和评估。本发明实现了一种基于车路协同及强化学习的环卫机器人车调度系统及方法。本发明的应用可以帮助现代城市提高环卫效率，减少环境污染，降低人力成本，同时提高城市居民的生活品质。
📄 2023104436042
📂 G06Q10_0631
👤 暨南大学
📅 2023-04-23
本发明涉及散热器技术领域，尤其是一种喷雾冷却表面强化换热导流器，包括基座，基座上表面的中心部位设有散流凸台，散流凸台的高度由中心至外周逐渐变低；基座的上表面沿散流凸台的周向间隔分布有若干导流片，相邻两个导流片之间形成液膜流动区，本发明喷雾冷却表面强化换热导流器利用散流凸台可对喷射到其上的液体工质进行引流，而后流向四周的液膜流动区，促进了各液膜流动区内液体工质的流动，从而避免产生滞止区，防止局部换热失效，提高换热效率及换热的均匀性，同时通过一定高度的导流片的阻挡作用，撞击到基座上表面的高速工质液滴反弹后大部分将二次撞击到导流片的侧面，不仅减少了溅出的液滴，还增大了实际换热量。
📄 2021104753289
📂 H05K7_20
👤 常州大学
📅 2021-04-29
本发明公开了基于深度强化学习的无信号灯交叉口控制方法及设备，使用了深度强化学习算法协调控制交叉口无冲突放行，通过冲突点的判断方式避免了冲突放行，通过奖励函数的设计实现了车辆放行的公平性，以及在此基础上的最大限度放行，通过交互更新训练后的DQN网络计算得到当前时刻目标无信号灯交叉口的放行动作，减少了车辆的平均等待时间，增加了通行效率，从而解决了无信号灯交叉口车辆拥堵的问题。本发明相较于现有技术的深度强化学习的无信号灯交叉口放行方法而言，通过使用深度学习框架制定交叉口协调问题，无需记录冲突区域网格的占领情况，降低了计算的复杂度；同时，将无信号灯交叉口整体进行分析也充分发挥了交叉口的协调潜力。
📄 2023104432747
📂 G08G1_01
👤 重庆邮电大学工业互联网研究院
📅 2023-04-21
本发明公开了基于深度强化学习的瓶颈区换道控制方法、设备及介质，通过选取一定比例的车辆使其提前换道来避免临近瓶颈区车辆集中换道而导致通行能力下降的发生，通过奖励函数的设计实现了每条车道车辆密度的平均，以最大限度避免了集中换道和为了追求速度的频繁换道行为，保证了瓶颈区交通流的稳定。此外，通过DQN网络与环境的交互更新训练，得到最优换道策略，该最优换道策略可协调控制瓶颈区车辆的换道行为，通过在瓶颈区上游进行提前换道，避免临近瓶颈区车辆集中换道导致交通拥堵的发生，有效地解决瓶颈区通行能力下降的问题。本发明的瓶颈区换到控制方法与传统的基于交通流控制方案相比，减少了车辆的平均行程时间，提高了通行效率。
📄 2023108088344
📂 G08G1_01
👤 重庆邮电大学
📅 2023-07-03
本发明请求保护一种基于深度强化学习的智能反射面元素智能激活方法，属于深度强化学习和智能反射面辅助通信领域。包括系统模型建立与目标问题建立、马尔可夫决策模型要素设置、算法框架搭建以及网络结构设计。根据考虑的通信场景建立系统模型并提出求解的目标问题；马尔可夫决策要素的设置主要是定义强化学习的智能体在与环境交互过程中涉及到的状态、动作以及奖励函数；采用基于演讲者‑评论者的深度强化学习经典算法框架，策略网络输出动作的同时利用评价网络辅助策略网络的梯度更新；调整策略网络以及评价网络的网络结构来应对智能反射面的引入带来的全连接结构对于信道状态信息提取不足的问题。本方法降低了利用传统通信算法迭代的复杂度。
📄 2022115982125
📂 H04L41_142
👤 重庆邮电大学
📅 2022-12-12
本发明公开了一种基于深度强化学习的车载边缘任务集中调度与资源分配联合优化方法，包括步骤：1.获取车辆任务可接入RSU的信息、车载任务的信息等；2.将车载任务边缘调度与资源分配决策方法转化为数学问题，进行数学建模；3.使用深度强化学习方法求解步骤2中的数学模型；4.将算法部署至软件定义的中央控制器。本发明充分考虑每个车载任务对边缘计算服务器负荷的影响、各个车载任务之间影响，在保证在规定时间内完成计算车载任务、保证各个边缘计算服务器的负载均衡的同时，使得边缘计算服务器提供商的利益最大化。
📄 202110488718X
📂 H04L67_1008
👤 江苏大学
📅 2021-05-06
本发明公开了一种基于USRP RIO的强化学习通信干扰方法，基于数据处理中心、工作在相同频带上的干扰机、发射机，以及与发射机连接的接收机；实现干扰机对发射机与接收机进行通信干扰；干扰机的感知节点周期性地扫描监测发射机与接收机之间的通信环境，获得发射机与接收机之间频谱数据信息，并发送给数据处理中心；数据处理中心接收并处理该频谱数据信息，获取通信信道信息，并且应用预设已训练好的Q学习引擎模型，获得通信信道信息对应的Q表信息，所述Q表信息包括干扰机当前状态信息Sn与干扰机当前状态信息Sn所对应其下一动作信息an的Q值；干扰机周期性读取Q表信息的Q值，并根据Q值对发射机与接收机进行通信干扰。
📄 2022104872992
📂 H04B1_00
👤 南京邮电大学
📅 2022-05-06
本发明公开了一种基于强化学习算法SAC的目标跟踪方法、装置及存储介质，方法包括：获取视频数据；在视频数据的当前帧中确定搜索区域位置和大小；判断当前帧是否为第一帧；响应于当前帧非第一帧，将当前帧输入预训练好的actor网络模型进行特征提取，得到输出的预测框，根据所述预测框对目标进行跟踪；其中所述actor网络模型的训练方法，包括：通过第一帧对actor、target_actor网络进行初始化，根据经验池中存储的数据，通过actor、critic网络计算动作，计算actor、critic1、critic2网络损失，利用强化学习SAC算法更新网络权值。将目标跟踪问题转化为强化学习算法中在线决策的问题，并且本发明只需要少量数据集，充分利用现有技术，提升训练速度。
📄 2022102402738
📂 G06T7_246
👤 南京邮电大学
📅 2022-03-10
本实用新型提供一种无缝不锈钢管加工用退火炉，包括支撑腿，工作台，冷却箱，电动机，传动轴，导向架，预加热机构，加热箱和冷却机构，所述支撑腿固定在工作台下侧面，其中工作台的下侧面固定有冷却箱，且工作台的上侧面分别固定有电动机，导向架，预加热机构，加热箱和冷却机构；所述电动机的输出端固定有传动轴，其中传动轴的外侧面与若干所述导向架相固定；所述加热箱设置在预加热机构和冷却机构之间。本实用新型冷却箱、导向架、预加热机构、加热箱和冷却机构的设置，在进行使用时，能够对无缝不锈钢管在冷却时的热量和在加热时散发的热量进行利用，减少了能源的浪费，并且便于对不同直径的无缝不锈钢管进行输送。
📄 2024204442310
📂 C21D9_08
👤 浙江至德钢业有限公司
📅 2024-03-08
本实用新型公开了一种钢材加工校平装置，包括机体和拼接壳，所述机体的前侧与拼接壳的后侧固定连接，所述机体的前侧活动连接有防护壳，所述防护壳的内腔开设有收纳槽。本实用新型通过设置拼接壳、防护壳、收纳槽、固定装置、拉板、移动孔、支撑板和卡槽的配合使用，拿起防护壳与支撑板对齐，然后推动防护壳与拼接壳接触后，松开挤压板，弹簧发生弹性形变带动转板回到远处，转板移动带动卡块插入卡槽内，完成了对传输带的防护，解决了现有钢材加工校平装置在使用时，没有对链条轮进行防护的装置，一旦周围行人不小心触碰到，可能会误伤行人皮肤，而且空气中的灰尘会落在链条轮上会导致表面的油性物质结块的问题。
📄 2021212023936
📂 B21D1_02
👤 常州市欧德姆智能机械设备有限公司
📅 2021-06-01
已申报项目
本实用新型公开了一种钢材加工成型切割装置，包括切割设备和固定板，左侧所述固定板位于切割设备底部的右侧，所述固定板前侧的两侧固定连接有活动槽，所述固定槽的内部活动连接有活动板，所述切割设备的前侧固定连接有第一圆柱，所述圆柱的表面套设有木板。本实用新型通过设置收集盒和活动板之间的配合起到了收集切割设备在工作时所产生的杂质和一些碎屑，通过设置第一圆柱、木板、凹槽和第二圆柱之间的配合，使得切割设备在工作时能够更加稳定的工作，等到工作结束时通过设置的固定槽、活动块和辅助杆起到了对木板限位的作用，从而使得收集盒通过把手更加方便的取出，达到便于收集杂质和碎屑的效果。
📄 2021212023353
📂 B27C5_02
👤 常州市欧德姆智能机械设备有限公司
📅 2021-06-01
已申报项目
本实用新型公开了一种钢材折弯机，涉及钢材加工技术领域，具体为一种钢材折弯机，包括加工台，所述加工台的上表面安装有第一弯折轮，所述第一弯折轮的外表面活动安装有安装框，所述安装框的内部安装有第二弯折轮，所述第二弯折轮的一侧固定连接有弯折臂，所述加工台的侧面固定安装有驱动箱，所述驱动箱的侧面固定安装有伺服电机。该钢材折弯机，通过将钢筋放置在液压箱的内侧，通过启动电动伸缩杆能够对活塞杆进行移动，继而使得活塞杆对液压箱内腔中的液压油进行挤压，从而使得夹持块进行移动对钢筋进行夹持，并且从钢筋的周围进行固定，能够有效的防止钢筋出现偏移，同时结构为自动固定与松动，可以提高便捷性。
📄 2023206583304
📂 B21F1_00
👤 洛阳市艾普柜业有限公司
📅 2023-03-29
柿子坊 · 知识产权运营
柿子坊知识产权运营平台