(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840831.4 (22)申请日 2022.07.18 (71)申请人 陕西天行健车联网信息技 术有限公 司 地址 710000 陕西省西安市经济技 术开发 区泾渭新城西金路西段29 号泾渭国际 中心1幢1单 元16层 (72)发明人 王杰　王小林　李晓鹏　杨盼龙　 王继君　孟宪芳　冶少刚　邱梅芳　 曾小丽　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 专利代理师 姬莉 (51)Int.Cl. G06F 16/174(2019.01)G06F 16/182(2019.01) G06F 9/50(2006.01) H04L 67/12(2022.01) H04L 69/04(2022.01) G16Y 20/00(2020.01) (54)发明名称 一种车联网数据的分布式实时压缩方法、 装 置及存储介质 (57)摘要 本发明提供了一种车联网数据的分布式实 时压缩方法、 装置及存储介质， 属于车联网数据 处理领域， 包括网关实时接收车载 终端上报的海 量数据， 并将数据分发至KAFKA集群； 订阅KAFKA 按照业务标签 分类的相关主题， 按照相关主题的 分区消费数据， 并将消费出来的数据实时写入本 地磁盘； 对写入本地磁盘中的数据进行实时压 缩， 包括： 采用分布式多线程对本地磁盘中的数 据进行压缩， 压缩过程中每个线程产生一个子文 件； 将产生的子文件上传至集群HDFS， 利用定时 任务每天将7天前的数据进行滚动合并， 最终每 天产生一个总文件。 该方法采用实时压缩框架， 可以对海量车联网数据实现实时采集、 压缩以及 归档， 存储延迟小， 减小硬盘空间占用率。 权利要求书2页 说明书4页 附图4页 CN 115221134 A 2022.10.21 CN 115221134 A 1.一种车 联网数据的分布式实时压缩方法， 其特 征在于， 包括以下步骤： 网关实时接收车 载终端上报的海量数据， 并将接收到的数据分发至KAF KA集群； 订阅KAFKA按照业务标签分类的相关主题， 按照相关主题的分区消费数据， 并将消费出 来的数据实时写入本地磁 盘； 对写入本地磁 盘中的数据进行实时压缩， 压缩步骤 包括： 采用分布式多线程对本地磁盘中的数据进行压缩， 压缩过程中每个线程产生一个子文 件； 将产生的子文件上传至集群HDFS， 利用定时任务每天将N天前的数据进行滚动合并， 最 终每天产生 一个总文件。 2.根据权利要求1所述的车联网数据的分布式实时压缩方法， 其特征在于， 所述利用定 时任务每天将N天前的数据进行滚动合并， 其中N 为7。 3.根据权利要求2所述的车联网数据的分布式实时压缩方法， 其特征在于， 所述采用分 布式多线程对本地磁盘中的数据进行压缩的过程中， 集群各个节点存在两个进程， 一个进 程负责实时数据压缩， 一个进程负责历史数据压缩。 4.根据权利要求3所述的车联网数据的分布式实时压缩方法， 其特征在于， 所述实时数 据压缩的主线程扫描本地磁盘半小时之前以及两小时之内的数据， 获取所有能够压缩文件 的目标地址， 再按照不同地址在集群多个节点启动多个线程压缩实时数据， 最后将压缩完 成的数据上传至 HDFS统一归档； 所述历史数据压缩的主线程扫描本地磁盘两小时之前的数据， 获取所有能够压缩文件 的目标地址， 再按照不同地址在集群多个节点启动多个线程压缩历史数据， 最后将压缩完 成的数据上传至 HDFS统一归档。 5.根据权利要求2所述的车联网数据的分布式实时压缩方法， 其特征在于， 所述利用定 时任务每天将7天前的数据进行滚动合并的过程中， 所述数据包括7天之内存在的补报数 据。 6.根据权利要求1所述的车联网数据的分布式实时压缩方法， 其特征在于， 还包括对灾 备的处理， 处理内容具体包括： 如果出现机器故障， 或者程序意外， 导致实时存储或者压缩 出现延迟或者部 分数据未能及时处理， 灾备机制手动启动， 支持从KAFKA到本地缓存的故障 消费处理、 从本地缓存到实时压缩的故障数据处 理及最终压缩的合并故障部分处 理。 7.根据权利要求6所述的车联网数据的分布式实时压缩方法， 其特征在于， 还包括对整 个存储、 压缩和灾备过程的全生命周期的管控， 管控内容具体包括： 数据从KAFKA消费至本 地缓存， 每个节点的写入进度， 异常日志； 数据从本地缓存到压缩文件的进度， 每个节点的 异常日志； 手动配置数据源的配置服 务节点、 消费的主题、 节点均衡的配置策略。 8.一种车 联网数据的分布式实时压缩 装置， 其特 征在于， 包括： 网关单元， 网关实时接收车载终端上报的海量数据， 并将接收到的数据分发至KAFKA集 群； 数据消费模块， 用于订阅KAFKA按照业务标签分类的相关主题， 按照相关主题的分区消 费数据， 并将消费出来的数据实时写入本地磁 盘； 数据压缩单 元， 用于对写入本地磁 盘中的数据进行实时压缩， 压缩步骤 包括： 采用分布式多线程对本地磁盘中的数据进行压缩， 压缩过程中每个线程产生一个子文权　利　要　求　书 1/2 页 2 CN 115221134 A 2件； 将产生的子文件上传至集群HDFS， 利用定时任务每天将N天前的数据进行滚动合并， 最 终每天产生 一个总文件。 9.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115221134 A 3