说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210799213.X (22)申请日 2022.07.08 (71)申请人 厦门服云信息科技有限公司 地址 361000 福建省厦门市软件园二期观 日路12号 403单元 (72)发明人 徐雄辉 陈奋 陈荣有 李伟彬  薛世平  (74)专利代理 机构 厦门市精诚新创知识产权代 理有限公司 3 5218 专利代理师 赵薇 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/22(2019.01) G06F 16/242(2019.01) (54)发明名称 一种基于二级索引的hbase查询方法、 终端 设备及存 储介质 (57)摘要 本发明涉及一种基于二级索引的hbase查询 方法、 终端设备及存储介质, 该方法中包括: 根据 数据rowkey的范围划分数据存储的分区, 新建 hbase索引表; 根据数据写入请求获取待写入数 据的元数据信息; 根据元数据信息构建各数据的 二级索引, 基于二级索引更新索引表; 当接收到 数据查询请求时, 根据构建的二级索引进行数据 查询。 本发 明可以提高开发人员开发效率及降低 逻辑开发成本提高效率, 可以提高系统运行得稳 定性, 使得查询功能、 性能更具优势, 增加行业得 竞争力。 权利要求书2页 说明书6页 附图4页 CN 115328950 A 2022.11.11 CN 115328950 A 1.一种基于二级索引的hbase查询方法, 其特 征在于, 包括以下步骤: S1: 根据数据ro wkey的范围划分数据存 储的分区, 新建hbase索引表hbase_i ndex; S2: 根据数据写入请求获取待写入数据的元数据信息, 元数据信息包括: 数据rowkey、 表名、 列族、 分区、 时间和区域 位置; S3: 根据元 数据信息构建各 数据的二级索引, 基于二级索引更新索引表hbase_i ndex; S4: 当接收到数据查询请求时, 根据构建的二级索引进行 数据查询。 2.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 数据rowkey的 生成方法为: 将数据的数据接收时间、 数据待写入的分区、 随机生 成的唯一UUID和随机整 数 四者拼接后进行哈希运 算得到。 3.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S1中分区 的划分方法为: 根据分区的数量对数据rowkey 的范围平均划分, 根据划分结果设定各分区 对应的数据ro wkey的范围。 4.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 二级索引 包括 二级索引Rowkey和四个列族, 四个列族分别为: 分区列族、 元数据列族、 时间列族和数据列 族, 其中, 分区列族下包括分区索引和区域索引, 元数据列族下包括多个元数据索引, 时间 列族下包括时间索引, 数据列族下包括数据索引。 5.根据权利要求4所述的基于二级索引的hbase查询方法, 其特征在于: 二级索引 Rowkey的生成规则为: 将数据对应的数据rowkey、 分区、 列族、 时间、 版本号和区域进行拼 接, 将拼接结果进行倒叙后进行哈希运 算生成; 分区索引的生成规则为: 将数据对应的表名、 分区、 列族和时间进行拼接, 将拼接结果 进行倒叙后进行哈希运 算生成; 区域索引的生成规则为: 将数据对应的分区作为区域索引; 元数据索引的生成规则为: 将数据对应的表名、 列族、 列值和时间进行拼接, 将拼接结 果进行倒叙后进行哈希运 算生成; 时间索引的生成规则为: 将数据的时间戳作为时间索引; 数据索引的生成规则为: 将数据本身字符串作为数据索引。 6.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于ro wkey时序性范围的查询, 即: 将需要查询的数据对应的数据rowkey、 分区索引、 需要查询的列族值、 开始时间、 数据 版本号和区域位置进 行拼接, 将拼接结果进 行倒叙后再进 行哈希运算的结果作为开始查询 范围索引; 将需要查询的数据对应的数据rowkey、 分区索引、 需要查询的列族值、 结束时间、 数据 版本号和区域位置进 行拼接, 将拼接结果进 行倒叙后再进 行哈希运算的结果作为结束查询 范围索引; 根据开始查询范围索引和结束查询范围索引查询索引 表hbase_index, 命中符合条件 时返回查询索引表hbase_i ndex中数据索引列对应的值。 7.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于分区数据范围的查询, 即: 将需要查询的数据对应的表名、 起始扫描分区值、 需要查询的列族值和需要查询的起权 利 要 求 书 1/2 页 2 CN 115328950 A 2始时间拼接构建为 开始查询分区索引; 将需要查询的数据对应的表名、 终点扫描分区值、 需要查询的列族值和需要查询的终 点时间拼接构建为终点 查询分区索引; 根据开始查询分区索引和终点查询分区索引查询索引 表hbase_index, 命中符合条件 时返回查询索引表hbase_i ndex中数据索引列对应的值。 8.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于时间索引数据范围的查询, 即: 构建时间范围索引条件、 分区索引条件和区域 索引条件; 首先通过基于时间范围索引条件中的起始时间和终点时间对索引表hbase_ index进行第一次查询, 之后基于区域索引条件和分区索引条件对第一次查询结果进行第 二次查询。 9.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于列族索引数据范围的查询, 即: 基于表名、 列族名称、 需要查询的列族值和起 始时间构建起始列族查询索引条件, 基于 分区名称、 列族名称、 需要查询的列族值和终点时 间构建终点列族查询索引条件; 基于起始列族查询索引条件和终点时间构建终点列族查询 索引条件询索引表hbase_index, 命中符合条件时返回查询索引表hbase_index中数据索引 列对应的值。 10.一种基于二级索引的hbase查询终端设备, 其特征在于: 包括处理器、 存储器以及存 储在所述存储器中并在所述处理器上运行的计算机程序, 所述处理器执行所述计算机程序 时实现如权利要求1~ 9中任一所述方法的步骤。 11.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在 于: 所述计算机程序被处 理器执行时实现如权利要求1~ 9中任一所述方法的步骤。权 利 要 求 书 2/2 页 3 CN 115328950 A 3

.PDF文档 专利 一种基于二级索引的hbase查询方法、终端设备及存储介质

文档预览
中文文档 13 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于二级索引的hbase查询方法、终端设备及存储介质 第 1 页 专利 一种基于二级索引的hbase查询方法、终端设备及存储介质 第 2 页 专利 一种基于二级索引的hbase查询方法、终端设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 17:14:40上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。