咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:提供一种读取和写入用于HADOOP计算的数据的方法和系统。一种从非HADOOP分布式文件系统(HDFS)读取用于HADOOP计算的输入数据的方法,其特征在于,所述方法包括:定义用于从所述非HDFS读取数据的数据读取类,所述数据读取类继承RecordReader类;实现在HADOOP分布式计算模型中的InputFormat类中的getRecordReader方法和getSplits方法。其中,在实现的getRecordReader方法中,创建定义的数据读取类的实例或对象并返回所述实例或对象,并且在实现的getSplits方法中,将从调用的getRecordReader方法返回的RecordReader实例或对象确认为定义的数据读取类的实例或对象。本发明剥离了HADOOP对HDFS的强烈依赖,减少了数据的读取次数、复制次数并且节省了存储空间和处理时间。
著 录 项:
专利/申请号: | CN201410305744.4 | 专利名称: | 读取和写入用于HADOOP计算的数据的方法和系统 |
申请日: | 2014-06-30 | 申请/专利权人 | 百度在线网络技术(北京)有限公司 |
专利类型: | 发明 | 地址: | 北京市海淀区上地十街10号百度大厦三层 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F17/30搜分类 P 港口搜索 |
公开/公告日: | 转让价格: | 面议 | |
公开/公告号: | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |
2018/03/02 | 授权 | |
2014/10/22 | 实质审查的生效 | IPC(主分类): G06F 17/30 专利申请号: 201410305744.4 申请日: 2014.06.30 |
2014/09/17 | 公开 |