(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864732.X (22)申请日 2022.07.21 (71)申请人 重庆长安汽车股份有限公司 地址 400023 重庆市江北区建新 东路260号 (72)发明人 任宇　柯贤林　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 吴向青 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/2457(2019.01) G06F 16/27(2019.01) G06F 16/16(2019.01)G06F 16/172(2019.01) G06F 16/18(2019.01) (54)发明名称 一种数据处理方法、 系统、 电子设备及可读 存储介质 (57)摘要 本发明提供一种数据处理方法、 系统、 电子 设备及可读存储介质， 获取目标数据， 基于目标 数据进行数据同步， 并将未完成数据同步的数据 缓存至临时存储目录中； 判断临时存储目录中是 否存在缓存数据， 如果存在， 则将缓存数据和目 标数据共同写入 预先创建的日志记录文件中， 记 录文件写入条数； 如果不存在， 则将目标数据写 入预先创建的日志记录文件中， 并记录文件写入 条数； 将记录的文件写入条数与预设数据上传阈 值进行比对， 根据比对结果将日志记录文件中的 数据进行分片上传。 本申请通过对目标数据进行 分片上传， 不仅能够减少网络请求次数， 而且能 够在网络出现波动时， 存储已上传的数据， 避免 在数据上传过程中因为网络问题， 出现频繁重复 上传的情形。 权利要求书3页 说明书15页 附图7页 CN 115145905 A 2022.10.04 CN 115145905 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括以下步骤： 获取预先生成或实时生成的数据， 记为目标 数据； 基于所述目标数据进行数据同步， 并将未完成数据同步的数据缓存至临时存储目录 中； 判断所述临时存储目录中是否存在缓存数据， 并在所述临时存储目录存在缓存数据 时， 将所述缓存数据和所述 目标数据共同写入预先创建的日志记录文件中， 并记录此时的 文件写入 条数； 或者， 在所述临时存储目录不存在缓存数据时， 将所述目标数据写入预先创 建的日志 记录文件中， 并记录此时的文件写入条 数； 将记录的文件写入条数与 预设数据 上传阈值进行比对， 并根据比对结果将所述日志记 录文件中的数据读取到数据上传队列中进行分片上传。 2.根据权利要求1所述的数据处理方法， 其特征在于， 根据比对结果将所述日志记录文 件中的数据读取到数据上传队列中进行分片上传的过程包括： 在所述文件写入条数大于所述预设数据上传阈值 时， 从所述日志记录文件中读取数据 到数据上传队列， 并发送直接上传消息， 等待对所述数据上传队列中的数据进 行分片上传； 或者， 在所述文件写入条数小于等于所述预设数据 上传阈值 时， 从所述日志记录文件中读取 数据到数据上传字段， 并由所述数据上传字段传输至所述数据上传队列， 以及发送直接上 传消息， 等待对所述数据上传队列中的数据进行分片上传。 3.根据权利要求2所述的数据处理方法， 其特征在于， 对所述数据 上传队列中的数据进 行分片上传的过程包括： 响应于所述 直接上传消息， 并根据响应结果唤醒轮询上传数据线程； 利用所述轮询上传数据线程对所述数据上传队列进行轮询访问， 将所述数据 上传队列 中的数据进行分片上传， 直至所述轮询上传数据线程进入阻塞态 时， 结束轮询； 或者， 在所 述轮询上传数据线程从所述数据上传队列中抽取的数据所对应的字段类型为结束字段时， 结束轮询； 其中， 当所述轮询上传数据线程对所述数据上传队列进行轮询访 问时， 若所述数据上 传队列中不存在数据， 则所述轮询上传数据线程进入阻塞态。 4.根据权利要求3所述的数据处理方法， 其特征在于， 利用所述轮询上传数据线程对所 述数据上传队列进行轮询访问， 将所述数据上传队列中的数据进行分片上传的过程包括： 利用所述轮询上传数据线程对所述数据上传队列进行轮询访问， 并读取所述数据 上传 队列中的数据， 记为待上传数据； 将所述待上传数据的字段与预设字段进行匹配， 确定所述待上传数据的字段类型； 若所述待上传数据的字段类型属于预设字段， 则直接对所述待上传数据进行分片上 传， 或者结束所述轮询上传数据线程对所述数据上传队列的轮询访问； 若所述待上传数据的字段类型不属于预设字段， 则将所述待上传数据传输至所述临时 存储目录， 并在所述临时存储目录中的数据条数大于所述预设数据上传阈值时， 对所述临 时存储目录中的待上传数据进行分片上传。 5.根据权利要求4所述的数据处理方法， 其特征在于， 若所述预设字段包括直接上传字 段和结束字段， 则所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 115145905 A 2将所述待上传数据的字段与所述 直接上传字段、 所述结束字段匹配； 若所述待上传数据的字段类型为直接上传字段， 则将直接对所述待上传数据进行分片 上传； 若所述待上传数据的字段类型为结束字段， 则结束所述轮询上传数据线程对所述数据 上传队列的轮询访问。 6.根据权利要求3至5中任一所述的数据处理方法， 其特征在于， 在唤醒轮询上传数据 线程前， 所述方法还 包括： 获取预先创建的日志转存文件； 将所述日志记录文件中未完成分片上传的数据读入至所述日志转存文件中， 并删除所 述日志记录文件； 对读入数据的日志转存文件进行属性更 改， 并将完成属性更 改后的日志转存文件作为 日志记录文件。 7.根据权利要求3至5中任一所述的数据处理方法， 其特征在于， 根据响应结果唤醒轮 询上传数据线程的过程包括： 根据响应结果创建网络监听广播， 并基于所述网络监听广播判断当前网络是否可用； 如果当前网络不可用， 则记录当前网络状态， 并将所述轮询上传数据线程进行挂起等 待， 以使所述轮询上传数据线程 等待唤醒； 如果当前网络可用， 则唤醒轮询上传数据线程， 以使所述轮询上传数据线程对所述数 据上传队列进行轮询访问。 8.根据权利要求1至5中任一所述的数据处理方法， 其特征在于， 将所述日志记录文件 中的数据读取到数据上传队列中进行分片上传后， 所述方法还包括： 启用注销流程， 对与所 述的日志记录文件关联的文件写入流进行释放、 对直接上传消息进行清理、 以及对轮询上 传数据线程进行清空。 9.根据权利要求2至5中任一所述的数据处理方法， 其特征在于， 在所述文件写入条数 大于所述预设数据上传阈值时， 所述方法还 包括： 将所述文件写入条数进行清 空， 并延迟第 一时间后再从所述日志记录文件中读取数据 到数据上传队列后， 以及等待第二时间后再发送所述 直接上传消息； 其中， 所述第一时间的时长小于所述第二时间的时长 。 10.一种数据处 理系统， 其特 征在于， 所述系统包括有： 数据采集模块， 用于获取 预先生成或实时生成的数据， 记为目标 数据； 数据同步模块， 用于根据所述目标数据进行数据同步， 并将未完成数据同步的数据缓 存至临时存 储目录中； 缓存数据判断模块， 用于判断所述临时存 储目录中是否存在缓存数据； 数据写入模块， 用于在所述临时存储目录存在缓存数据时， 将所述缓存数据和所述目 标数据共同写入预先创建的日志记录文件中， 并记录此时的文件写入 条数； 或者， 在所述临 时存储目录不存在缓存数据时， 将所述 目标数据写入预先创建的日志记录文件中， 并记录 此时的文件写入条 数； 比对模块， 用于将文件写入 模块记录的文件写入条 数与预设数据上传阈值进行比对； 分片上传模块， 用于根据比对结果将所述日志记录文件中的数据读取到数据 上传队列权　利　要　求　书 2/3 页 3 CN 115145905 A 3