(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211023297.4 (22)申请日 2022.08.25 (71)申请人 网易 （杭州） 网络有限公司 地址 310000 浙江省杭州市滨江区长河街 道网商路59 9号4幢7层 (72)发明人 周佳文　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 高茹 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/2458(2019.01) (54)发明名称 数据流的处理方法、 装置、 电子设备和存储 介质 (57)摘要 本发明提供了一种数据流的处理方法、 装 置、 电子设备和存储介质； 其中， 该方法包括： 响 应于第一数据源中原始数据的流入， 通过预先配 置的算子实时异步向第二数据源获取补充数据； 将补充数据与原始数据进行关联结合， 并输出关 联结合后的数据。 该方式中， 当第一数据源中的 原始数据流入时， 实时通过配置好的算子异步地 向第二数据源获取补充数据， 使得包含不同配置 的算子可以即插即用地在数据流的任意位置插 入并使用， 使得数据流框架的能够通过一次搭 建， 处处使用， 并且， 通过灵活的配置满足不同业 务场景的补充数据获取， 从而提高流计算的可操 作性和灵活性。 权利要求书3页 说明书17页 附图3页 CN 115481153 A 2022.12.16 CN 115481153 A 1.一种数据流的处 理方法， 其特 征在于， 所述方法包括： 响应于第一数据源中原始数据的流入， 通过预先配置的算子实时异步向第 二数据源获 取补充数据； 将所述补充数据与所述原 始数据进行关联 结合， 并输出关联 结合后的数据。 2.根据权利要求1所述的方法， 其特征在于， 所述算子的配置包括异步线程数， 通过预 先配置的算子实时异步向第二数据源获取补充数据， 包括： 通过预先配置的算子创建所述异步线程数的数据补充任务， 并通过所述异步线程数的 数据补充任务实时异步并行向第二数据源发送数据获取请求； 接收所述数据获取请求返回的响应结果， 得到补充数据。 3.根据权利要求2所述的方法， 其特征在于， 所述算子的配置包括定时器配置， 接收所 述数据获取请求返回的响应结果， 得到补充数据， 包括： 接收所述数据获取请求返回的响应结果， 并通过所述定时器配置和所述响应结果确定 是否将所述数据补充任务加入预设任务队列； 按照所述定时器配置定时触发所述预设任务队列中的数据补充任务， 得到每个数据补 充任务对应的补充数据。 4.根据权利要求3所述的方法， 其特征在于， 所述定时器配置包括处理类型， 通过所述 定时器配置和所述响应结果确定是否将所述数据补充任务加入预设任务队列， 包括： 判断所述响应结果是否符合预设数据补充条件； 若所述响应结果不符合预设数据补充条件， 则将对应的数据补充任务加入预设任务队 列； 若所述响应结果符合预设数据补充条件， 则根据 所述处理类型确定是否将所述数据补 充任务加入预设任务队列。 5.根据权利要求3所述的方法， 其特征在于， 所述定时器配置包括事件时刻、 触发间隔 时长和刷出时长， 所述事 件时刻用于指示所述原 始数据中的目标事 件时刻； 按照所述定时器配置定时触发所述预设任务队列中的数据补充任务， 得到每个数据补 充任务对应的补充数据， 包括： 根据所述事件时刻和所述刷出时长， 计算刷出时刻， 所述刷出时刻用于指示所述数据 补充任务从所述预设任务队列中的强制刷出时刻； 根据所述事件时刻和所述触发间隔时长， 计算在所述强制刷出时刻内的多个触发时 刻， 并在每个触发时刻触发所述预设任务队列中对应的数据补充任务， 得到每个数据补充 任务对应的补充数据。 6.根据权利要求3所述的方法， 其特 征在于， 输出关联 结合后的数据， 包括： 根据所述响应结果和所述定时器配置 中的处理类型， 对关联结合后的数据进行分流并 输出。 7.根据权利要求1所述的方法， 其特征在于， 所述算子的配置包括数据源配置和补充数 据配置， 通过 预先配置的算子实时异步向第二数据源获取补充数据， 包括： 通过所述补充数据配置生成每条流入的原始数据对应的数据查询语句， 并通过所述数 据查询语句向所述数据源配置对应的第二数据源实时异 步发送数据获取请求， 得到每条流 入的原始数据对应的补充数据。权　利　要　求　书 1/3 页 2 CN 115481153 A 28.根据权利要求7所述的方法， 其特征在于， 所述补充数据配置包括动态渲染参数和查 询语句模板， 通过 所述补充数据配置生成每条流入的原 始数据对应的数据查询语句， 包括： 通过所述动态渲染参数从每条流入的原始数据中获取动态渲染参数值， 并将所述动态 渲染参数值代入所述 查询语句模板， 得到每条流入的原 始数据对应的数据查询语句。 9.根据权利要求7所述的方法， 其特征在于， 所述数据源配置包括最大连接数和最小连 接数， 在响应于第一数据源中原 始数据的流入之前， 还 包括： 按照所述 最大连接数和所述 最小连接数创建数据库连接池； 通过预先配置的算子实时异步向第二数据源获取补充数据， 包括： 通过预先配置的算子实时异步从所述数据库 连接池获取与第 二数据源的连接， 得到补 充数据。 10.根据权利要求1所述的方法， 其特征在于， 所述算子的配置包括缓存配置， 在响应于 第一数据源中原始数据的流入， 通过预先配置的算子实时异 步向第二数据源获取补充 数据 之后， 将所述补充数据与所述原始数据进行关联结合， 并输出关联结合后的数据之前， 包 括： 根据所述缓存配置， 将所述补充数据存 储至缓存中； 响应于第一数据源中原始数据的流入， 通过预先配置的算子实时异步向第 二数据源获 取补充数据， 包括： 响应于第一数据源中原始数据的流入， 通过预先配置的算子从缓存中获取所述原始数 据对应的补充数据， 得到缓存获取结果， 所述缓存获取结果用于指示所述缓存中是否存在 所述原始数据对应的补充数据； 若所述缓存中存在所述原始数据对应的补充数据， 则确定所述缓存中所述原始数据对 应的补充数据为第二数据源的补充数据； 若所述缓存中不存在所述原始数据对应的补充数据， 则通过预先配置的算子实时异步 向第二数据源获取补充数据。 11.根据权利要求10所述的方法， 其特 征在于， 将所述补充数据存 储至缓存中， 包括： 通过预置的标识符生成策略， 生成所述补充数据对应的标识符， 并将所述标识符和所 述补充数据关联存 储至缓存中； 通过预先配置的算子从缓存中获取所述原始数据对应的补充数据， 得到缓存获取结 果， 包括： 通过所述标识符生成策略， 生成所述原 始数据对应的标识符； 通过所述原始数据对应的标识符在所述缓存中查询所述原始数据对应的补充数据， 得 到缓存获取 结果。 12.根据权利要求11所述的方法， 其特征在于， 所述标识符生成策略用于对所述原始数 据中的动态渲染参数值进 行拼接， 所述动态渲染参数值按照所述算子的配置从所述原始数 据中获取。 13.根据权利要求1所述的方法， 其特征在于， 输出关联结合后的数据， 包括： 将关联结 合后的数据输出至所述 算子对应的目标算子或目标 数据库。 14.一种数据流的处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于响应于第一数据源中原始数据的流入， 通过预先配置的算子实时异步权　利　要　求　书 2/3 页 3 CN 115481153 A 3