(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210932087.0 (22)申请日 2022.08.04 (71)申请人 北京京东振世信息技 术有限公司 地址 100098 北京市海淀区知春路76号6层 (72)发明人 董宇亮　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 李相雨 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) (54)发明名称 宽表同步方法及装置 (57)摘要 本公开提供一种宽表同步方法及装置， 宽表 由多个数据表 合成， 多个数据表各自对应的数据 流分别在不同的流处理任务中消费， 该方法包 括： 消费当前数据表的数据流， 从当前数据表的 数据流中提取与当前数据表相关联的关联数据 表的关联字段； 根据关联字段从预设的数据库中 查询关联数据表的数据； 在查询到关联数据表的 数据且查询到宽表主键的数据的情况下， 将当前 数据表的数据、 关联数据表的数据及宽表主键的 数据同步至宽表； 在未查询到关联数据表的数据 时， 将关联字段加入预先创建的重试队列， 以按 队列重新查询。 本方法节省了大量的存储空间， 达到每个服务器节点能够充分利用CPU进行处理 数据的效果。 权利要求书2页 说明书11页 附图3页 CN 115269730 A 2022.11.01 CN 115269730 A 1.一种宽表同步方法， 其特征在于， 宽表由多个数据表合成， 所述多个数据表各自对应 的数据流分别在不同的流处 理任务中消费， 该 方法包括： 消费当前数据表的数据流， 从所述当前数据表的数据流中提取与当前数据表相关联的 关联数据表的关联字段； 根据所述关联字段从预设的数据库中查询所述关联 数据表的数据； 在查询到所述关联数据表的数据且查询到宽表主键的数据的情况下， 将所述当前数据 表的数据、 所述关联数据 表的数据及所述宽表主键的数据同步至所述宽表， 其中， 所述宽表 主键在宽表创建时确定； 在未查询到所述关联数据表的数据的情况下， 将所述关联字段加入预先创建的重试队 列， 根据所述重试队列中的关联字段， 继续执行根据所述关联字段从预设的数据库中查询 所述关联 数据表的数据的步骤。 2.根据权利要求1所述的宽表同步方法， 其特征在于， 所述在查询到所述关联数据表的 数据且查询 到宽表主键的数据的情况下， 将所述当前数据表的数据、 所述关联数据表的数 据及宽表主键的数据同步至所述宽表包括： 在查询到所述宽表主键的数据的情况下， 获取宽表主键的数据、 当前数据表的数据以 及关联数据表的数据； 根据所述宽表主键的数据、 所述当前数据表的数据和所述关联数据表的数据生成所述 宽表对应的数据行， 并将所述数据行同步至所述宽表中。 3.根据权利要求1所述的宽表同步方法， 其特征在于， 在消费当前数据表的数据流之 前， 所述方法还 包括： 从所述多个数据表中确定一个数据表为基准表； 将其余数据表的数据列整合到基准表的数据列， 形成所述宽表； 确定所述宽表主键 。 4.根据权利要求1所述的宽表同步方法， 其特征在于， 在新的数据表的数据流产生且消 费之前， 触发所述根据所述重试队列中关联字段， 继续执行根据所述关联字段从预设的数 据库中查询所述关联 数据表的数据的步骤。 5.根据权利要求1所述的宽表同步方法， 其特征在于， 将所述关联字段加入预先创建的 重试队列的步骤， 包括： 在所述关联字段首次进入队列的情况下， 则设置所述关联字段的重查 次数为0， 并将所 述关联字段加入重试队列的队尾； 在所述关联字段非首次进入队列的情况下， 将所述关联字段的重查 次数加1， 判断所述 关联字段重查次数是否达到预设次数阈值， 若是， 则淘汰所述关联字段， 否则， 将所述关联 字段加入所述重试队列的队尾。 6.根据权利要求1所述的宽表同步方法， 其特征在于， 将所述关联字段加入预先创建的 重试队列的步骤， 包括： 在所述关联字段首次进入队列的情况下， 则设置所述关联字段的重查 时长为0， 记录首 次入队时间， 并将所述关联字段加入重试队列的队尾； 在所述关联字段非首次进入队列的情况下， 设置所述重查 时长为当前时间和首次入队 时间的时间差， 判断所述关联字段的重查时长是否超过预设时长阈值， 若 是， 则淘汰所述关权　利　要　求　书 1/2 页 2 CN 115269730 A 2联字段， 否则， 将所述关联字段加入到所述重试队列的队尾。 7.根据权利要求5或6所述的宽表同步方法， 其特征在于， 在淘汰所述关联字段之前， 所 述方法还 包括： 查询所述重试队列的当前队列长度， 若所述当前队列长度小于预设长度阈值， 则将所 述关联字段加入到所述重试队列的队尾， 否则， 淘汰所述关联字段。 8.一种宽表同步装置， 其特征在于， 宽表由多个数据表合成， 所述多个数据表各自对应 的数据流分别在不同的流处 理任务中消费， 该装置包括： 数据流消费模块， 用于消费当前数据表的数据流， 从所述当前数据表的数据流中提取 与当前数据表相关联的关联 数据表的关联字段； 数据查询模块， 用于根据所述关联字段从预设的数据库中查询所述关联数据表的数 据； 数据同步模块， 用于在查询到所述关联数据表的数据且查询到宽表主键的数据的情况 下， 将所述当前数据表的数据、 所述关联数据表的数据及所述宽表主键的数据同步至所述 宽表， 其中， 所述宽表主键在宽表创建时确定； 数据重试模块， 用于在未查询到所述关联数据表的数据的情况下， 将所述关联字段加 入预先创建的重试队列， 根据所述重试队列中关联字段， 继续执行根据所述关联字段从预 设的数据库中查询所述关联 数据表的数据的步骤。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述的宽表同步方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述的宽表同步方法的步骤。权　利　要　求　书 2/2 页 3 CN 115269730 A 3