(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210821734.0 (22)申请日 2022.07.12 (71)申请人 广州市优 普计算机有限公司 地址 510000 广东省广州市天河区天河北 路233号3203室 (72)发明人 袁进波　 (74)专利代理 机构 广州凯东知识产权代理有限 公司 44259 专利代理师 李俊康 (51)Int.Cl. G06F 16/2455(2019.01) (54)发明名称 一种实时富 集流式数据处 理技术 (57)摘要 本发明公开了一种实时富集流式数据处理 技术， 包括整体架构， 整体架构 包括反查流程， 反 查流程包括以下步骤： 用户访 问数据通过kafka 进入到EventTopic中， 通过Yan ‑资源管理和 Spark/storm对采集的信息进行预处理， 并对各 类型数据进行标识， 判断是否为网络安全数据， 如果是登录事件， 将事件进入到IP反查逻辑配置 判断是否打开； 如果IP反查逻辑配置判断打开， 将进入到根据ip和站点id， 到redis去查看是否 存在富集信息判断； 如果IP反查逻辑配置判断没 有打开， 直接进入到ES内， 然后结束； 如果存在富 集信息， 信息将通过IP反查富集处理， 并延长key 的过期时间， 之后进入到ES内， 然后结束。 本发明 Kafka数据积压问题不再发生， 流处理程序处理 延时从小时级下降到秒级， 降低页面响应时间。 权利要求书2页 说明书4页 附图2页 CN 115185994 A 2022.10.14 CN 115185994 A 1.一种实时富集流式数据处理技术， 包括整体架构， 其特征在于： 所述整体架构包括反 查流程， 所述反查 流程包括以下步骤： 数据流向： 用户访问数据通过kafka进入到 Event Topic中； 信息处理： 通过Yan ‑资源管理和Spark/storm对采集的信息进行预处理， 并对各类型数 据进行标识， 通过系统判断是否为网络安全数据： 1.1)、 如果是网络安全数据， 将事 件进入到IP反查逻辑配置判断是否打开； 1.1.1)、 如果IP反查逻辑配置判断打开， 将进入到根据ip和站点id， 到redis去查看是 否存在富 集信息判断； 1.1.2)、 如果 IP反查逻辑配置判断没有打开， 直接进入到 ES内， 然后结束； 1.1.1.1)、 如果存在富集信息， 信息将通过IP反查富集处理， 并延长key的过期时间， 之 后进入到 ES内， 然后结束； 1.1.1.2)、 如果不存在富集信息， 信息将通过PI查询富集信息， 进行富集处理， 并将富 集信息写入redis缓存， 同时富集处理的登录事件数据入RS， 之后进入到ES内， 同时数据进 入到Redis内； 1.2)、 如果不是网络安全数据， 通过其他事件富集、 鲁棒性处理， 之后进入到ES内， 然后 结束。 2.根据权利要求1所述的一种实时富集流式数据处理技术， 其特征在于： 所述反查流程 内根据ip和站点id， 到redis去查看是否存在富集信息判断系统与Redis相互连通， MongoDB 通过缓冲热点 ip信息进入到redis内。 3.根据权利要求1所述的一种实时富集流式数据处理技术， 其特征在于： 所述整体框架 包括API、 DM、 MongoDB、 Yam ‑逻辑处理、 Redi s、 ES、 Spsark集群、 Alarms、 Yarn ‑逻辑处理、 数据 复制、 Hive、 Spark/storm、 Spsark/storm集群、 Event、 Lo gstash和Kafk a等， 所述Kafk a包括 内循环事 件、 通信对、 可疑文件、 Event、 人工智能/其 他和日志。 4.根据权利要求3所述的一种实时富集流式数据处理技术， 其特征在于： 所述网络安全 数据包括但不限于内循环事 件、 通信对数据等。 5.根据权利要求3所述的一种实时富集流式数据处理技术， 其特征在于： 所述Yarn ‑逻 辑处理之后进入到Alarms后通过Spsar k集群进入到Yam ‑逻辑处理， 然后处理后警告数据进 入到ES内， 如果存在资产发现等信息将进入到DM内， 之后进入到API内。 6.根据权利要求3所述的一种实时富集流式数据处理技术， 其特征在于： 所述MongoDB 数据进入到API内， 同时通过警告规则和首页指标进入到Redis内。 7.根据权利要求3所述的一种实时富集流式数据处理技术， 其特征在于： 所述DM内的数 据通过配置信息、 资产属性进入到Redis内， 进入到Redis内的数据进入到Yam ‑逻辑处理， 同 时通过富 集、 鲁棒性进入到 Yarn‑逻辑处理， 所述Redis内的数据进入到API内。 8.根据权利要求3所述的一种实时富集流式数据处理技术， 其特征在于： 所述ES内的数 据进入到API内， 所述ES内的数据通过 数据复制进入到 Hive内处 理。 9.根据权利要求3所述的一种实时富集流式数据处理技术， 其特征在于： 所述ES内的数 据通过文件、 报文、 通信对送检进入到Spark/storm内， 所述Spark/storm内的数据通过送检 状态、 报告结果更新进入到 ES内。 10.根据权利要求1所述的一种实时富集流式数据处理技术， 其特征在于： 所述资产库权　利　要　求　书 1/2 页 2 CN 115185994 A 2信息包括公司、 单位、 站点、 安全分区、 设备名称， 所述内网ip库信息包括ip类型、 公司、 单 位、 站点、 安全分区、 设备名称、 经度和维度。权　利　要　求　书 2/2 页 3 CN 115185994 A 3