(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892749.6 (22)申请日 2022.07.27 (71)申请人 北京火山引擎科技有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼13层13 09 (72)发明人 郭俊　谢佳君　孙科　罗旋　 (74)专利代理 机构 北京信远 达知识产权代理有 限公司 1 1304 专利代理师 冯柳伟 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/2453(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种基于数据湖的虚拟列构建方法以及数 据查询方法 (57)摘要 本申请公开了一种基于数据湖的虚拟列构 建方法以及数据查询方法， 该公开为： 先自动地 针对数据湖中的大量待分析语句进行表达式统 计分析， 以得到待使用表达式； 再根据待使用表 达式对应的虚拟列构建描述信息， 自动地构建出 待使用表达式对应的虚拟列构建请求， 以使虚拟 列构建请求用于请求构建能够代表待使用表达 式的虚拟列； 然后， 按照虚拟列构建请求， 构建待 使用表达式对应的虚拟列， 以使虚拟列能够代表 待使用表达式， 以便日后用户能够借助针对虚拟 列的数据查询请求， 以自动地触发针对待使用表 达式的数据查询请求， 如此能够 避免在用户手动 输入针对待使用表达式的数据查询请求时所出 现的问题， 从而能够有效地提高用户数据查询体 验。 权利要求书3页 说明书25页 附图5页 CN 115221191 A 2022.10.21 CN 115221191 A 1.一种基于数据湖的虚拟列构建方法， 其特 征在于， 所述方法包括： 在获取到至少一个待分析语句之后， 从所述至少一个待分析语句中确定待使用表达 式； 确定所述待使用表达式对应的虚拟列构建描述信 息； 所述虚拟列构建描述信 息包括所 述待使用表达式； 根据所述待 使用表达式对应的虚拟列构建描述信息， 生成虚拟列构建请求； 按照所述虚拟列构建请求， 构建所述待 使用表达式对应的虚拟列。 2.根据权利要求1所述的方法， 其特 征在于， 所述待分析语句的个数为 N； 所述从所述至少一个待分析语句中确定待 使用表达式， 包括： 从第n个待分析语句中确定第n个待分析表达式； n 为正整数， n≤N， N 为正整数； 对N个待分析表达式进行统计分析处 理， 得到表达式统计结果； 若所述表达 式统计结果表示所述N个待分析表达式中第 一表达式的出现频次高于预设 频次阈值， 则将所述第一表达式确定为所述待 使用表达式。 3.根据权利要求2所述的方法， 其特征在于， 所述从第 n个待分析语句中确定第 n个待分 析表达式， 包括： 对所述第n个待分析语句进行语法转换处 理， 得到语法转换 结果； 从所述语法转换 结果中提取 所述第n个待分析表达式。 4.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 对所述第 n个待分析表达式进行语法树构建处理， 得到所述第n个待分析表达 式的语法 树； 所述对N个待分析表达式进行统计分析处 理， 得到统计分析 结果， 包括： 对所述N个待分析表达式的语法树进行统计分析处 理， 得到统计分析 结果。 5.根据权利要求1所述的方法， 其特 征在于， 所述虚拟列构建描述信息还 包括列名； 所述待使用表达式对应的列名的确定过程， 包括： 若所述至少一个待分析语句中存在至少一个待参考语句， 则从所述至少一个待参考语 句中确定所述待使用表达式对应的列名； 所述待参考语句携带的表达式与所述待使用表达 式之间满足预设语义相同条件； 所述待参考语句包括所述待参考语句携带的表达式对应的 列名。 6.根据权利要求5所述的方法， 其特征在于， 所述从所述至少一个待参考语句中确定所 述待使用表达式对应的列名， 包括： 对所述至少一个待参考语句携带的表达 式对应的列名进行统计分析处理， 得到列名统 计结果； 根据所述列名统计结果， 确定所述待 使用表达式对应的列名。 7.根据权利要求6所述的方法， 其特征在于， 所述至少一个待参考语句携带的表达 式对 应的列名包括目标列名； 所述根据所述列名统计结果， 确定所述待 使用表达式对应的列名， 包括： 若所述列名统计结果表示所述目标列名的出现频次满足预设频次条件， 则将所述目标 列名， 确定为所述待 使用表达式对应的列名。 8.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 115221191 A 2若所述至少一个待分析语句中不存在所述待参考语句， 则根据 预先设定的至少一个待 匹配表达式与所述待使用表达式之 间的相似表征数据， 从所述至少一个待匹配表达式中确 定第二表达式； 所述第二表达式与所述待使用表达式之 间的相似表征数据满足预设相似条 件； 从预先构建的映射关系中查找所述第 二表达式对应的列名； 所述映射关系用于记录各 所述待匹配表达式与各 所述待匹配表达式对应的列名之间的对应关系； 根据所述第二表达式对应的列名， 确定所述待 使用表达式对应的列名。 9.根据权利要求8所述的方法， 其特 征在于， 所述待匹配表达式的个数为M； 第m个待匹配表达式与所述待 使用表达式之间的相似表征 数据的确定过程， 包括： 确定所述待 使用表达式的字段名向量以及关键 字向量； 根据所述待使用表达式的字段名向量与 所述第m个待匹配表达式的字段名向量之间的 相似度、 以及所述待使用表达式的关键字 向量与所述第m个待匹配表达式的关键字 向量之 间的相似度， 确定所述第m个待匹配表达式与所述待 使用表达式之间的相似表征 数据。 10.根据权利要求9所述的方法， 其特征在于， 所述待使用表达式的字段名向量的确定 过程， 包括： 对所述待使用表达式进行字段名提取处理， 得到字段名提取结果； 将所述字段名提取 结果进行向量 化处理， 得到所述待 使用表达式的字段名向量； 和/或， 所述待使用表达式的关键 字向量的确定过程， 包括： 对所述待使用表达式进行关键字提取处理， 得到关键字提取结果； 将所述关键字提取 结果进行向量 化处理， 得到所述待 使用表达式的关键 字向量。 11.根据权利要求1所述的方法， 其特征在于， 所述虚拟列构建描述信息还包括数据类 型； 所述数据类型 是根据所述待 使用表达式携带的列名对应的数据类型确定的。 12.一种基于数据湖的数据查询方法， 其特 征在于， 所述方法包括： 获取第一数据查询 请求； 所述第 一数据查询 请求用于请求针对目标虚拟列进行数据查 询； 其中， 所述目标虚拟列是利用权利要求1 ‑11任一项所述的基于数据湖的虚拟列构建方 法进行构建的； 利用所述目标虚拟列对应的表达 式， 替换所述第 一数据查询 请求中所述目标虚拟列的 列名， 得到第二数据查询请求； 按照所述第二数据查询请求进行 数据查询处 理。 13.一种基于数据湖的虚拟列构建装置， 其特 征在于， 包括： 表达式确定单元， 用于在获取到至少一个待分析语句之后， 从所述至少一个待分析语 句中确定待 使用表达式； 信息确定单元， 用于确定所述待使用表达式对应的虚拟列构建描述信息； 所述虚拟列 构建描述信息包括所述待 使用表达式； 请求生成单元， 用于根据所述待使用表达式对应的虚拟列构建描述信息， 生成虚拟列 构建请求； 虚拟列构建单元， 用于按照所述虚拟列构建请求， 构建所述待使用表达式对应的虚拟权　利　要　求　书 2/3 页 3 CN 115221191 A 3