(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210928370.6 (22)申请日 2022.08.03 (71)申请人 中银金融科技有限公司 地址 200120 上海市浦东 新区(上海)自由 贸易试验区银城中路20 0号4楼408室 (72)发明人 姜楠　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 聂俊伟 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/242(2019.01) (54)发明名称 高并发数据入库方法、 装置、 电子设备及存 储介质 (57)摘要 本发明提供一种高并发数据入库方法、 装 置、 电子设备及存储接孩子， 其中方法包括： 接收 报文数据并确定接收时间； 对报文数据进行解 析， 并应用预设格式对解析后得到的数据进行格 式化， 得到格式化数据； 将格式化数据异步逐行 写入指定文件夹中与接收时间所处时间段对应 的文本文件中； 时间段是基于预设时间间隔确定 的； 基于导入时间， 确定导入时间之前的未导入 时间段； 并将未导入时间段对应的文本文件中的 格式化数据导入到数据库中， 实现了数据报文请 求和数据 报文入库的操作分离， 以及当前时间段 报文数据写入文件和之前时间段文本文件导入 数据库的操作分离， 降低了数据库产生瓶颈的几 率， 从而在收集报文数据的同时提高了用户的体 验度。 权利要求书2页 说明书10页 附图2页 CN 115408383 A 2022.11.29 CN 115408383 A 1.一种高并发数据入库方法， 其特 征在于， 包括： 接收报文数据并确定 接收时间； 对所述报文数据进行解析， 并应用预设格式对解析后得到的数据进行格式化， 得到格 式化数据； 将所述格式化数据异步逐行写入指定文件夹中与所述接收时间所处时间段对应的文 本文件中； 所述时间段 是基于预设时间 间隔确定的； 基于导入时间， 确定所述导入时间之前的未导入时间段； 并将所述未导入时间段对应 的文本文件中的格式化数据导入到数据库中。 2.根据权利要求1所述的高并发数据入库 方法， 其特征在于， 所述将所述格式化数据异 步逐行写入所述接收时间所处时间段对应的文本文件中， 包括： 基于所述预设时间 间隔和所述接收时间， 确定所述接收时间所处时间段； 若所述接收时间所处时间段不存在对应的文本文件， 则在所述指定文件夹 中创建所述 接收时间所处时间段对应的文本文件； 将所述格式化数据异步逐 行写入所述接收时间所处时间段对应的文本文件中。 3.根据权利要求2所述的高并发数据入库 方法， 其特征在于， 所述将所述格式化数据异 步逐行写入所述接收时间所处时间段对应的文本文件中， 包括： 将所述格式化数据写入缓存队列中， 在所述缓存队列中格式化数据的数量达到预设阈 值或者所述接收时间所 处时间段结束的情况下， 异 步将所述缓存队列中的格式化数据逐行 写入所述接收时间所处时间对应的文本文件中， 并清空所述缓存队列。 4.根据权利要求1所述的高并发数据入库方法， 其特征在于， 所述基于导入时间， 确定 所述导入时间之前的未导入时间段； 并将所述未导入时间段对应的文本文件中的格式化数 据导入到数据库中， 包括： 确定所述 导入时间； 在系统时间与 所述导入时间误差在预设范围内时， 则 基于最后导入时间所处时间段的 起始时间和所述导入时间所处时间段的起始 时间段， 确定所述未导入时间段， 并将所述未 导入时间段对应的文本文件中的格式化数据批量 导入到所述数据库中； 在所述未导入时间段对应的文本文件导入数据完成后， 将所述最后 导入时间更新为所 述导入时间。 5.根据权利要求4所述的高并发数据入库 方法， 其特征在于， 所述将所述未导入时间段 对应的文本文件中的格式化数据批量 导入到所述数据库中， 包括： 逐行读取所述未导入时间段对应的文本文件中的格 式化数据并写入预编译的SQL语句 中， 得到预编译SQ L指令； 并将所述预编译SQ L指令加入到预编译SQ L指令集合中； 在所述预编译SQL指令集合中的预编译SQL指令达到预设数量或者所述未导入时间段 对应的文本文件读取完毕， 则执行所述预编译SQL指令集合并清空所述预编译SQL指令集 合， 以将所述未导入时间段对应的文本文件中的格式化数据批量 导入到所述数据库中。 6.根据权利要求5所述的高并发数据入库 方法， 其特征在于， 所述逐行读取所述未导入 时间段对应的文本文件中的格式化数据并写入 预编译的SQL语句中， 得到预编译SQL指 令集 合， 包括： 确定当前读取 行数；权　利　要　求　书 1/2 页 2 CN 115408383 A 2读取所述未导入时间段对应的文本文件中所述当前读取行数对应的格式化数据， 并对 所述当前读取行数对应的格式化数据进行解析， 若解析后的数据中为报文异常的数据， 则 将所述当前读取 行数对应的格式化数据写入日志中； 否则， 将所述解析后的数据写入所述预编译的SQL语句中， 得到预编译SQL指令， 并将所 述预编译SQ L指令加入到所述预编译SQ L指令集合中； 将下一读取 行数作为当前读取 行数。 7.一种高并发数据入库装置， 其特 征在于， 包括： 接收模块， 用于 接收报文数据并确定 接收时间； 格式化模块， 用于对所述报文数据进行解析， 并应用预设格式对解析后得到的数据进 行格式化， 得到格式化数据； 固定数据模块， 用于将所述格式化数据异步逐行写入指定文件夹 中与所述接收时间所 处时间段对应的文本文件中； 所述时间段 是基于预设时间 间隔确定的； 导入模块， 用于基于导入时间， 确定所述导入时间之前的未导入时间段； 并将所述未导 入时间段对应的文本文件中的格式化数据导入到数据库中。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述高并发数据入库方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述高并发数据入库方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述高并发数据入库方法。权　利　要　求　书 2/2 页 3 CN 115408383 A 3