(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210819005.1 (22)申请日 2022.07.12 (71)申请人 广州欢聚时代信息科技有限公司 地址 511442 广东省广州市番禺区南村镇 万博二路79 号万博商务区万达商业广 场北区B-1栋23层 (72)发明人 连松洲　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/27(2019.01) (54)发明名称 数据流生成方法及其装置、 设备、 介质、 产品 (57)摘要 本申请公开一种数据流生 成方法及其装置、 设备、 介质、 产品， 所述方法包括： 响应作用于第 一数据库集群的数据流生 成指令， 根据数据读取 配置信息， 确定各工作线程各自对应的待读取数 据表； 驱动各工作线程从各自对应的待读取数据 表中读取第一数据， 并根据全局速度配置信息， 控制工作线程读取其待读取数据表的读取速度； 驱动各工作线程将各自所读取的第一数据映射 为第二数据， 并将该些第二数据推送至数据流推 送器中； 驱动数据流推送器将各第二数据逐一推 送至第二数据库集群中， 并根据全局速度配置信 息， 控制数据流推送器推送第二数据的推送速 度。 本申请可规划数据读取任务， 并控制数据的 读取及推送速度， 提升进行数据流处理双方数据 库的稳定性。 权利要求书2页 说明书14页 附图5页 CN 115203257 A 2022.10.18 CN 115203257 A 1.一种数据流 生成方法， 其特 征在于， 包括如下步骤： 响应作用于第一数据库集群的数据流生成指令， 根据数据读取配置信息， 确定各工作 线程各自对应的待读取 数据表， 所述待读取 数据表存 储于第一数据库集群的数据库中； 驱动各所述工作线程从各自对应的待读取数据表中读取第 一数据， 并根据全局速度配 置信息， 控制该 些工作线程读取其待读取 数据表的读取速度； 驱动各所述工作线程将各自所读取的第一数据映射为适用于第二数据库集群存储的 第二数据， 并将该 些第二数据推送至数据流推送器中； 驱动数据流推送器将各第 二数据逐一推送至第 二数据库集群中， 并根据 所述全局速度 配置信息， 控制数据流推送器 推送第二数据的推送速度。 2.根据权利要求1所述的方法， 其特征在于， 根据数据读取配置信息， 响应作用于第一 数据库集群的数据流生成指令， 根据数据读取配置信息， 确定各工作线程各自对应的待读 取数据表， 所述待读取 数据表存 储于第一数据库集群的数据库中的步骤中， 包括如下步骤： 响应所述数据流 生成指令， 获取 该数据流生成指令中包 含的数据读取配置信息； 获取所述数据读取配置信息中包含的多个由数据库名称及数据表名称的映射关系数 据； 将具有同一数据库名称的映射关系数据的数据表名所对应的数据表确定为同一工作 线程的待读取 数据表， 以此类 推， 确定出 各工作线程的待读取 数据表。 3.根据权利要求1所述的方法， 其特征在于， 驱动各所述工作线程从各自对应的待读取 数据表中读取第一数据， 并根据全局速度配置信息， 控制该些工作线程读取其待读取数据 表的读取速度的步骤中， 包括如下步骤： 获取当前待读取数据表所对应的快照数据表， 读取该快速数据表中各快照数据存储位 置存储的第一数据； 当当前读取的快照存储位置中不存在第 一数据时， 则确定该快照数据存储位置的快速 存储位置， 从地址映射表中查询出 该快照存储地址所对应的源 存储地址； 查询出当前待读取数据表中所述源存储地址所对应的源数据存储位置， 读取该源数据 存储位置所存 储的第一数据； 以此类推， 读取出读取待读取数据表的所有第 一数据， 其中， 读取各所述第 一数据的过 程中将根据全局速度配置信息包 含的数据读取速度控制读取速度。 4.根据权利要求1所述的方法， 其特征在于， 驱动各所述工作线程将各自所读取的第 一 数据映射为适用于第二数据库集群存储的第二数据， 并将该些第二数据推送至数据流推送 器中的步骤中， 包括如下步骤： 读取出当前待读取数据表的第一数据时， 确定该第一数据所对应的数据类型及键数 据； 校验所述第一数据的数据类型是否满足预设的第二数据类型规则， 若不满足， 则将所 述第一数据的数据类型修改为对应的第二数据类型； 生成包含所述第一数据及键数据的第二数据， 将该第二数据推送至数据流推送器中。 5.根据权利要求1所述的方法， 其特征在于， 驱动数据流推送器将各第 二数据逐一推送 至第二数据库集群中， 并根据所述全局速度配置信息， 控制数据流推送器推送第二数据的 推送速度的步骤中， 包括如下步骤：权　利　要　求　书 1/2 页 2 CN 115203257 A 2获取当前最新进行数据推送的工作线程所推送的第 二数据， 将该第 二数据存储至数据 推送队列中最靠前的存 储位置； 将数据推送队列中最靠后的存 储位置存 储的第二数据推送至第二数据库集群中； 以此类推， 处理所述数据推送队列的第二数据存储及推送， 并根据全局速度配置信息 包含的数据推送速度控制第二数据的推送速度。 6.根据权利要求1所述的方法， 其特 征在于， 本方法包括如下同步 步骤： 响应工作线程的工作错 误事件， 确定该工作错 误事件所对应的待读取 数据表； 确定所述待读取数据表所属的数据库， 确定当前读取该数据库存储的数据表的工作线 程， 将所述待读取数据表分配至该工作线程， 由该工作线程重新读取所述待读取数据表的 第一数据。 7.一种数据流 生成装置， 其特 征在于， 包括： 数据表分配模块， 用于响应作用于第一数据库集群的数据流生成指令， 根据数据读取 配置信息， 确定各工作线程各自对应的待读取数据表， 所述待读取数据表存储于第一数据 库集群的数据库中； 读取速度控制模块， 用于驱动各所述工作线程从各自对应的待读取数据表中读取第 一 数据， 并根据全局速度配置信息， 控制该 些工作线程读取其待读取 数据表的读取速度； 映射数据推送模块， 用于驱动各所述工作线程将各自所读取的第 一数据映射为适用于 第二数据库集群存 储的第二数据， 并将该 些第二数据推送至数据流推送器中； 数据流推送模块， 用于驱动数据流推送器将各第二数据逐一推送至第二数据库集群 中， 并根据所述全局速度配置信息， 控制数据流推送器 推送第二数据的推送速度。 8.一种电子设备， 包括中央处理器和存储器， 其特征在于， 所述中央处理器用于调用运 行存储于所述存 储器中的计算机程序以执 行如权利要求1至 6中任一项所述的方法的步骤。 9.一种非易失性存储介质， 其特征在于， 其以计算机可读指令的形式存储有依据权利 要求1至6中任意一项所述的方法所实现的计算机程序， 该计算机程序被计算机调用运行 时， 执行该方法所包括的步骤。 10.一种计算机程序产品， 包括计算机程序/指令， 其特征在于， 该计算机程序/指令被 处理器执行时实现权利要求1至 6任意一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115203257 A 3