(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211019613.0 (22)申请日 2022.08.24 (71)申请人 网易 （杭州） 网络有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路59 9号4幢7层 (72)发明人 於圣楠　张宇昂　肖文浩　阮良　 吴剑飞　刘柏　 (74)专利代理 机构 北京清源汇知识产权代理事 务所(特殊普通 合伙) 11644 专利代理师 冯德魁 (51)Int.Cl. G06F 16/2457(2019.01) G06F 16/242(2019.01) G06F 16/2455(2019.01) (54)发明名称 数据处理方法、 系统、 电子设备及可读存储 介质 (57)摘要 本申请公开了一种数据处理方法、 系统、 电 子设备及计算机可读存储介质。 其中， 后端服务 子系统中配置的虚拟查询表与离线、 实时数据子 系统中的数据存在映射关系， 该方法包括： 接收 针对虚拟查询表的数据查询指令， 该查询指令携 带有待查询数据的指定时间字段的字段值筛选 区间； 将字段值筛选区间拆分为第一、 第二时间 子区间； 从离线、 实时数据子系统中， 分别读取指 定时间字段的字段值满足第一、 第二时间子区间 的数据； 根据读取的数据输出数据查询结果。 使 用本申请提供的数据处理方法， 用户在开发数据 任务时， 仅需针对一套基于虚拟查询表的代码进 行开发维护即可， 实现了用户对分离计算无感知 的流批一体， 且能够保证较佳的处理性能和吞吐 量。 权利要求书3页 说明书15页 附图6页 CN 115510113 A 2022.12.23 CN 115510113 A 1.一种数据处理方法， 其特征在于， 应用于数据处理系统中的后端服务子系统， 所述系 统还包括离线数据子系统和实时数据子系统， 所述后端服务子系统、 所述离线数据子系统 与所述实时数据子系统两两之 间相互通信连接， 所述后端服务子系统中配置有至少一个虚 拟查询表， 所述至少一个虚拟查询表与所述离线 数据子系统及所述 实时数据子系统中存储 的数据存在映射关系， 所述方法包括： 接收针对所述虚拟查询表的数据查询指令， 其中， 所述数据查询指令至少携带有待查 询数据的指定时间字段的字段值筛 选区间； 响应于所述数据查询 指令， 将所述字段值筛选区间拆分为预设时刻 之前的第 一时间子 区间， 以及所述预设时刻以后的第二时间子区间； 从所述离线数据子系统中读取所述指定时间字段的字段值满足所述第一时间子区间 的第一数据， 以及从所述 实时数据子系统中读取所述指定时间字段的字段值满足所述第二 时间子区间的第二数据； 根据所述第一数据和所述第二数据， 输出 数据查询结果。 2.根据权利要求1所述的方法， 其特征在于， 所述离线数据子系统中配置有至少一个离 线数据查询表， 所述至少一个离线数据查询表与所述离线 数据子系统中存储的数据存在映 射关系； 所述实时数据子系统中配置有至少一个实时数据查询表， 所述至少一个实时数据查询 表与所述实时数据子系统中存 储的数据存在映射关系； 所述虚拟查询表与具有相同表名的所述离线数据查询表及所述实时数据查询表存在 映射关系。 3.根据权利要求2所述的方法， 其特征在于， 所述数据查询 指令还携带有待查询的虚拟 查询表的表名， 所述从所述离线 数据子系统中读取所述指 定时间字段的字段值满足所述第 一时间子区间的第一数据， 包括： 从与所述虚拟查询表具有相同表名的离线数据查询表中， 查询所述指定时间字段的字 段值满足所述第一时间子区间的第一数据的存 储信息； 根据所述第一数据的存 储信息， 从所述离线数据子系统中读取 所述第一数据。 4.根据权利要求2所述的方法， 其特征在于， 所述数据查询 指令还携带有待查询的虚拟 查询表的表名， 所述从所述 实时数据子系统中读取所述指 定时间字段的字段值满足所述第 二时间子区间的第二数据， 包括： 从与所述虚拟查询表具有相同表名的实时数据查询表中， 查询所述指定时间字段的字 段值满足所述第二时间子区间的第二数据的存 储信息； 根据所述第二数据的存 储信息， 从所述实时数据子系统中读取 所述第二数据。 5.根据权利要求2所述的方法， 其特征在于， 所述接收针对所述虚拟查询表的数据查询 指令之前， 还 包括： 接收虚拟查询表创建指令， 其中， 所述虚拟查询表创建指令至少携带有待创建的虚拟 查询表的表名； 响应于所述虚拟查询表创建指令， 以所述表名创建虚拟查询表， 并在所述离线数据子 系统中以所述表名创建离线数据查询表， 以及在所述 实时数据子系统中以所述表名创建实 时数据查询表。权　利　要　求　书 1/3 页 2 CN 115510113 A 26.根据权利要求5所述的方法， 其特征在于， 所述响应于所述虚拟查询表创建指令， 以 所述表名创建虚拟查询表， 并在所述离线数据子系统中以所述表名创建离线数据查询表， 以及在所述实时数据子系统中以所述表名创建实时数据查询表之后， 还 包括： 接收针对所述虚拟查询表的数据写入指令， 其中， 所述数据写入指令至少携带有所述 虚拟查询表的表名和待 写入的目标 数据的所述指定时间字段的字段值； 响应于所述数据写入指令， 在所述字段值处于所述预设时刻之前的情况下， 将所述目 标数据存储至所述离线数据子系统中， 并将所述目标数据的存储信息写入 具有所述表名的 离线数据查询表中； 响应于所述数据写入指令， 在所述字段值处于所述预设时刻以后的情况下， 将所述目 标数据存储至所述实时数据子系统中， 并将所述目标数据的存储信息写入 具有所述表名的 实时数据查询表中； 将所述目标数据的存储信 息同步至具有所述表名的所述虚拟查询表中， 以更新所述虚 拟查询表的元 数据。 7.根据权利要求5所述的方法， 其特征在于， 所述响应于所述虚拟查询表创建指令， 以 所述表名创建虚拟查询表， 并在所述离线数据子系统中以所述表名创建离线数据查询表， 以及在所述实时数据子系统中以所述表名创建实时数据查询表之后， 还 包括： 接收目标虚拟查询表的删除指令， 其中， 所述删除指令至少携带有所述目标虚拟查询 表的表名； 响应于所述删除指令， 删除所述目标虚拟查询表， 并从所述离线数据子系统中删除与 所述目标虚拟查询表的表名相同的离线数据查询表， 以及从所述 实时数据子系统中删除与 所述目标虚拟查询表的表名相同的实时数据查询表。 8.根据权利要求4所述的方法， 其特征在于， 在数据读取方式被配置为批式读取、 且所 述数据查询指 令未携带有 所述字段值筛选区间的末尾时间节点的情况下， 所述从与所述虚 拟查询表具有相同表名的实时数据查询表中， 查询所述指 定时间字段的字段值满足所述第 二时间子区间的第二数据的存 储信息， 包括： 从与所述虚拟查询表具有相同表名的实时数据查询表中， 查询所述数据查询 指令的接 收时刻以前存储至所述 实时数据子系统中的、 且所述指定时间字段的字段值满足所述第二 时间子区间的第二数据。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述第一数据和所述第二数据， 输出数据查询结果， 包括： 将所述第一数据和所述第二数据进行整合， 获得 数据查询结果； 显示包括所述数据查询结果的数据查询结果界面。 10.根据权利要求9所述的方法， 其特征在于， 在数据读取方式被配置为流式读取、 且所 述数据查询指 令未携带有 所述字段值筛选区间的末尾时间节点的情况下， 所述显示包括所 述数据查询结果的数据查询结果界面之后， 还 包括： 实时监测在所述数据查询指令的接收时刻之后存储至所述实时数据子系统中的最新 数据； 当所述最新数据的所述指定时间字段的字段值满足所述第 二时间子区间时， 从所述实 时数据子系统中读取 所述最新数据。权　利　要　求　书 2/3 页 3 CN 115510113 A 3