说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211197950.9 (22)申请日 2022.09.29 (71)申请人 超聚变数字技 术有限公司 地址 450000 河南省郑州市郑东 新区龙子 湖智慧岛正商博雅广场1号楼 9层 (72)发明人 任中涛  (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/2455(2019.01) (54)发明名称 计算引擎确定方法及设备 (57)摘要 本发明提供了一种计算引擎确定方法及设 备。 在实施例中, 该方法包括: 获取待处理的数据 操作语句; 确定第一引擎执行所述数据操作语句 的第一内存消耗量; 其中, 第一引 擎为基于内存 的引擎, 第一引擎用于处理目标数据; 确定分配 给第一引擎的总的内存的当前内存剩余量; 若所 述当前内存剩余量大于所述第一内存消耗量, 确 定所述第一引擎处理所述数据操作语句。 由此, 实现了引擎的智能化选择, 实现效率和稳定性的 平衡。 权利要求书2页 说明书17页 附图5页 CN 115544055 A 2022.12.30 CN 115544055 A 1.一种计算引擎确定方法, 其特 征在于, 所述方法包括: 获取待处 理的数据操作语句; 确定第一引擎执行所述数据操作语句的第一内存消耗量; 其中, 所述第一引擎为基于 内存的引擎, 所述第一引擎用于处 理目标数据; 确定分配给 所述第一引擎的总的内存的当前内存剩余 量; 若所述当前内存剩余量大于所述第 一内存消耗量, 确定所述第 一引擎处理所述数据操 作语句。 2.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 若所述当前内存剩余量小于等于所述第 一内存消耗量, 确定第 二引擎处理所述数据操 作语句; 其中, 所述第二引擎 为基于磁 盘的引擎; 所述第二引擎用于处 理所述目标 数据。 3.根据权利要求1或2所述的方法, 其特征在于, 所述确定第一引擎执行所述数据操作 语句的第一内存消耗 量, 包括: 确定所述数据操作语句的逻辑执行树; 其中, 所述逻辑执行树用于指示所述数据操作 语句表示的数据处 理的逻辑 流程; 基于所述目标数据的元数据和所述逻辑执行树, 确定第 一引擎执行所述数据操作语句 的第一内存消耗 量。 4.根据权利要求3所述的方法, 其特征在于, 所述基于所述目标数据的元数据和所述逻 辑执行树, 确定第一引擎执 行所述数据操作语句的第一内存消耗 量, 包括: 对于所述逻辑执行树中的每个节点, 基于所述目标数据的元数据, 确定所述节点对应 的数据量; 基于所述节点对应的数据量, 确定所述节点对应的第二内存消耗量; 其中, 所述 第二内存消耗 量用于指示所述第一引擎执 行所述节点对应的任务的内存的消耗 量; 基于所述逻辑执行树中每个节点各自的第 二内存消耗量, 确定所述第 一引擎执行所述 数据操作语句的第一内存消耗 量。 5.根据权利要求4所述的方法, 其特征在于, 所述基于所述节点对应的数据量, 确定所 述节点对应的第二内存消耗 量, 包括: 将所述节点对应的任务需要处理的数据量作为内存消耗, 得到所述节点对应的第 三内 存消耗量; 确定所述节点对应的数据处 理操作; 基于所述节点对应的数据处 理操作, 确定所述第三内存消耗 量对应的修 正值; 基于所述修正值对所述第 三内存消耗量进行修正, 确定所述节点对应的第 二内存消耗 量。 6.根据权利要求4或5所述的方法, 其特征在于, 所述基于所述逻辑执行树中每个节点 各自的第二内存消耗 量, 确定执 行所述数据操作语句的第一内存消耗 量, 包括: 对所述逻辑执行树中每个节点各自的第 二内存消耗量进行求和, 将求和后的结果作为 执行所述数据操作语句的第一内存消耗 量。 7.根据权利要求5或6所述的方法, 其特征在于, 所述基于所述节点对应的数据处理操 作, 确定所述第三内存消耗 量对应的修 正值, 包括: 若所述数据处 理操作为扫描, 所述 修正值为数据并行度的倒数; 或权 利 要 求 书 1/2 页 2 CN 115544055 A 2若所述数据处理操作为基于网络通信的操作, 所述修正值包括第一数值和第二数值, 所述第一数值用于指示所述第一引擎执行所述节 点对应的任务的过程中申请内存的次数; 所述第二数值用于指示所述第一引擎执行所述节点对应的任务的过程中申请和释放内存 的比例; 或 若所述数据处 理操作为本地的处 理操作, 所述 修正值为所述第二数值。 8.根据权利要求1至7任一项所述的方法, 其特征在于, 所述获取待处理的数据操作语 句, 包括: 将接收终端的数据操作语句作为待处理的数据操作语句, 或将所述第 二引擎接收的数 据操作语句作为待处 理的数据操作语句。 9.根据权利要求1 ‑8任一项所述的方法, 其特征在于, 所述若所述当前内存剩余量大于 所述第一内存消耗 量, 确定所述第一引擎处 理所述数据操作语句之后, 还 包括: 确定所述逻辑执 行树中每 个节点的任务, 通过 所述第一引擎执 行所述任务。 10.一种计算引擎确定设备, 其特 征在于, 包括: 所述设备包括处 理器和存 储器; 所述存储器存储有程序指令; 所述处理器用于执行所述程序指令, 以使得所述设备执行如权利要求1至权利要求9所 述的方法。权 利 要 求 书 2/2 页 3 CN 115544055 A 3

.PDF文档 专利 计算引擎确定方法及设备

文档预览
中文文档 25 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共25页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 计算引擎确定方法及设备 第 1 页 专利 计算引擎确定方法及设备 第 2 页 专利 计算引擎确定方法及设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 17:18:32上传分享
友情链接
交流群
  • //public.wenku.github5.com/wodemyapi/22.png
-->
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。