说明:收录25万 73个行业的国家标准 支持批量下载
文库搜索
切换导航
文件分类
频道
联系我们
问题反馈
文件分类
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210799213.X (22)申请日 2022.07.08 (71)申请人 厦门服云信息科技有限公司 地址 361000 福建省厦门市软件园二期观 日路12号 403单元 (72)发明人 徐雄辉 陈奋 陈荣有 李伟彬 薛世平 (74)专利代理 机构 厦门市精诚新创知识产权代 理有限公司 3 5218 专利代理师 赵薇 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/22(2019.01) G06F 16/242(2019.01) (54)发明名称 一种基于二级索引的hbase查询方法、 终端 设备及存 储介质 (57)摘要 本发明涉及一种基于二级索引的hbase查询 方法、 终端设备及存储介质, 该方法中包括: 根据 数据rowkey的范围划分数据存储的分区, 新建 hbase索引表; 根据数据写入请求获取待写入数 据的元数据信息; 根据元数据信息构建各数据的 二级索引, 基于二级索引更新索引表; 当接收到 数据查询请求时, 根据构建的二级索引进行数据 查询。 本发 明可以提高开发人员开发效率及降低 逻辑开发成本提高效率, 可以提高系统运行得稳 定性, 使得查询功能、 性能更具优势, 增加行业得 竞争力。 权利要求书2页 说明书6页 附图4页 CN 115328950 A 2022.11.11 CN 115328950 A 1.一种基于二级索引的hbase查询方法, 其特 征在于, 包括以下步骤: S1: 根据数据ro wkey的范围划分数据存 储的分区, 新建hbase索引表hbase_i ndex; S2: 根据数据写入请求获取待写入数据的元数据信息, 元数据信息包括: 数据rowkey、 表名、 列族、 分区、 时间和区域 位置; S3: 根据元 数据信息构建各 数据的二级索引, 基于二级索引更新索引表hbase_i ndex; S4: 当接收到数据查询请求时, 根据构建的二级索引进行 数据查询。 2.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 数据rowkey的 生成方法为: 将数据的数据接收时间、 数据待写入的分区、 随机生 成的唯一UUID和随机整 数 四者拼接后进行哈希运 算得到。 3.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S1中分区 的划分方法为: 根据分区的数量对数据rowkey 的范围平均划分, 根据划分结果设定各分区 对应的数据ro wkey的范围。 4.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 二级索引 包括 二级索引Rowkey和四个列族, 四个列族分别为: 分区列族、 元数据列族、 时间列族和数据列 族, 其中, 分区列族下包括分区索引和区域索引, 元数据列族下包括多个元数据索引, 时间 列族下包括时间索引, 数据列族下包括数据索引。 5.根据权利要求4所述的基于二级索引的hbase查询方法, 其特征在于: 二级索引 Rowkey的生成规则为: 将数据对应的数据rowkey、 分区、 列族、 时间、 版本号和区域进行拼 接, 将拼接结果进行倒叙后进行哈希运 算生成; 分区索引的生成规则为: 将数据对应的表名、 分区、 列族和时间进行拼接, 将拼接结果 进行倒叙后进行哈希运 算生成; 区域索引的生成规则为: 将数据对应的分区作为区域索引; 元数据索引的生成规则为: 将数据对应的表名、 列族、 列值和时间进行拼接, 将拼接结 果进行倒叙后进行哈希运 算生成; 时间索引的生成规则为: 将数据的时间戳作为时间索引; 数据索引的生成规则为: 将数据本身字符串作为数据索引。 6.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于ro wkey时序性范围的查询, 即: 将需要查询的数据对应的数据rowkey、 分区索引、 需要查询的列族值、 开始时间、 数据 版本号和区域位置进 行拼接, 将拼接结果进 行倒叙后再进 行哈希运算的结果作为开始查询 范围索引; 将需要查询的数据对应的数据rowkey、 分区索引、 需要查询的列族值、 结束时间、 数据 版本号和区域位置进 行拼接, 将拼接结果进 行倒叙后再进 行哈希运算的结果作为结束查询 范围索引; 根据开始查询范围索引和结束查询范围索引查询索引 表hbase_index, 命中符合条件 时返回查询索引表hbase_i ndex中数据索引列对应的值。 7.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于分区数据范围的查询, 即: 将需要查询的数据对应的表名、 起始扫描分区值、 需要查询的列族值和需要查询的起权 利 要 求 书 1/2 页 2 CN 115328950 A 2始时间拼接构建为 开始查询分区索引; 将需要查询的数据对应的表名、 终点扫描分区值、 需要查询的列族值和需要查询的终 点时间拼接构建为终点 查询分区索引; 根据开始查询分区索引和终点查询分区索引查询索引 表hbase_index, 命中符合条件 时返回查询索引表hbase_i ndex中数据索引列对应的值。 8.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于时间索引数据范围的查询, 即: 构建时间范围索引条件、 分区索引条件和区域 索引条件; 首先通过基于时间范围索引条件中的起始时间和终点时间对索引表hbase_ index进行第一次查询, 之后基于区域索引条件和分区索引条件对第一次查询结果进行第 二次查询。 9.根据权利要求1所述的基于二级索引的hbase查询方法, 其特征在于: 步骤S4中数据 查询包括基于列族索引数据范围的查询, 即: 基于表名、 列族名称、 需要查询的列族值和起 始时间构建起始列族查询索引条件, 基于 分区名称、 列族名称、 需要查询的列族值和终点时 间构建终点列族查询索引条件; 基于起始列族查询索引条件和终点时间构建终点列族查询 索引条件询索引表hbase_index, 命中符合条件时返回查询索引表hbase_index中数据索引 列对应的值。 10.一种基于二级索引的hbase查询终端设备, 其特征在于: 包括处理器、 存储器以及存 储在所述存储器中并在所述处理器上运行的计算机程序, 所述处理器执行所述计算机程序 时实现如权利要求1~ 9中任一所述方法的步骤。 11.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在 于: 所述计算机程序被处 理器执行时实现如权利要求1~ 9中任一所述方法的步骤。权 利 要 求 书 2/2 页 3 CN 115328950 A 3
专利 一种基于二级索引的hbase查询方法、终端设备及存储介质
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 17:14:40
上传分享
举报
下载
原文档
(660.4 KB)
分享
友情链接
GB-T 4209-2022 工业硅酸钠.pdf
T-GDPIA 11—2020 数字化工厂 改性塑料制造 功能架构.pdf
GB-T 12022-2014 工业六氟化硫.pdf
GB-T 42680-2023 基于相位多普勒技术的液体燃料雾化特性测试方法.pdf
T-CBMF 61—2019 混凝土外加剂行业清洁生产 评价指标体系.pdf
上海市网络安全事件应急预案 2019.pdf
GB-T 38775.6-2021 电动汽车无线充电系统 第6部分:互操作性要求及测试 地面端.pdf
WS 436-2013 医院二次供水运行管理.pdf
GB 3096-2008_声环境质量标准.pdf
GB-T 35273-2017 信息安全技术 个人信息安全规范.pdf
T-CVMA 47—2020 猫星状病毒RT-PCR检测方法.pdf
GB-T 23981.2-2023 色漆和清漆 遮盖力的测定 第2部分:黑白格板法.pdf
GB-T 42450-2023 信息技术 大数据 数据资源规划.pdf
GA-T 1788.4-2021 公安视频图像信息系统安全技术要求 第4部分:安全管理平台.pdf
DB2数据库安全配置基线.doc
GB-T 549-2017 电焊锚链.pdf
20230129-中信建投-人工智能行业从CHAT_GPT到生成式AI(Generative AI):人工智能新范式,重新定义生产力.pdf
GB-T 5048-2017 防潮包装.pdf
YD-T 0219-2019 电信网和互联网数据安全评估规范.pdf
GB-T 4754-2017 国民经济行业分类.pdf
交流群
-->
1
/
3
13
评价文档
赞助2元 点击下载(660.4 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。