(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599436.1 (22)申请日 2022.05.30 (71)申请人 南京数睿数据科技有限公司 地址 211106 江苏省南京市江宁区秣陵街 道清水亭西路2号 (72)发明人 车文彬　刘超　张超　郭丽娜　 陈逸帆　张俊杰　 (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 孙姣 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/22(2022.01)G06T 7/73(2017.01) G06T 7/11(2017.01) G06T 3/40(2006.01) G06N 3/04(2006.01) (54)发明名称 屏幕图像识别方法、 装置、 设备和计算机可 读介质 (57)摘要 本公开的实施例公开了屏幕图像识别方法、 装置、 设备和计算机可读介质。 该方法的一具体 实施方式包括： 获取待切割的屏幕图像； 根据预 设的各个切割尺寸对待切割的屏幕图像进行切 割处理， 得到切割屏幕图像组； 利用切割屏幕 图 像组中每个切割屏幕图像中的切割图像单元进 行组件检测处理， 得到目标组件信息集合； 对待 切割的屏幕图像进行文字识别， 得到文字信息集 合； 对目标组件信息集合和文字信息集合进行组 合处理， 得到屏幕画面识别信息集合。 该实施方 式可以较为全面的屏幕图像中包 含的组件。 权利要求书2页 说明书8页 附图2页 CN 114926830 A 2022.08.19 CN 114926830 A 1.一种屏幕图像识别方法， 包括： 获取待切割的屏幕图像； 根据预设的各个切割尺寸对所述待切割的屏幕图像进行切割处理， 得到切割屏幕图像 组， 其中， 所述切割屏幕图像组中的切割屏幕图像由对应切割尺寸的切割图像单 元组成； 利用所述切割屏幕图像组中每个切割屏幕图像中的切割图像单元进行组件检测处理， 得到目标组件信息集 合； 对所述待切割的屏幕图像进行文字识别， 得到文字信息集 合； 对所述目标组件信 息集合和所述文字信 息集合进行组合处理， 得到屏幕画面识别信 息 集合。 2.根据权利要求1所述的方法， 其中， 所述屏幕画面识别信 息集合中的屏幕画面识别信 息包括组件类型和组件位置， 或文字内容和文字位置； 以及 所述方法还 包括： 将所述屏幕画面识别 信息集合和所述待切割的屏幕图像发送至目标终端以供显示。 3.根据权利要求1所述的方法， 其中， 所述对所述待切割的屏幕图像进行文字识别， 得 到文字信息集 合， 包括： 确定所述待切割的屏幕图像中各个文字区域的坐标， 得到文字区域 坐标组集 合； 根据所述文字区域坐标组集合， 对所述待切割的屏幕图像进行裁剪处理， 得到文字区 域图像集 合； 对所述文字区域图像集 合中的每 个文字区域图像进行文字识别， 得到文字信息集 合。 4.根据权利要求3所述的方法， 其中， 所述对所述文字区域图像集合中的每个文字区域 图像进行文字识别， 得到文字信息集 合， 包括： 将所述文字区域图像输入至预 先训练的文字识别模型中， 得到文字内容； 将所述文字内容与所述文字区域图像对应的文字区域坐标组中各个文字区域坐标的 中心点坐标进行组合， 得到文字信息 。 5.根据权利要求4所述的方法， 其中， 所述文字识别模型包括： 卷积层、 循环层和转录 层； 以及 所述将所述文字区域图像输入至预 先训练的文字识别模型中， 得到文字内容， 包括： 将所述文字区域图像输入所述卷积层， 得到特 征序列； 将所述特 征序列输入所述循环层， 得到所述特 征序列的标签分布； 将所述标签分布输入所述 转录层， 得到文字内容。 6.根据权利要求1所述的方法， 其中， 所述根据预设的各个切割尺寸对所述待切割的屏 幕图像进行切割处 理， 得到切割屏幕图像组， 包括： 响应于确定所述待切割的屏幕图像的长宽不相等， 对所述待切割的屏幕图像进行等长 处理， 得到长宽相等的待切割的屏幕图像； 对所述长 宽相等的待切割屏幕图像进行切割处 理， 得到切割屏幕图像组。 7.一种屏幕图像识别装置， 包括： 获取单元， 被配置成获取待切割的屏幕图像； 切割单元， 被配置成根据预设的各个切割尺寸对所述待切割的屏幕图像进行切割处 理， 得到切割屏幕图像组， 其中， 所述切割屏幕图像组中的切割屏幕图像由对应切割尺寸的权　利　要　求　书 1/2 页 2 CN 114926830 A 2切割图像单 元组成； 组件检测单元， 被配置成利用所述切割屏幕图像组中每个切割屏幕图像中的切割图像 单元进行组件检测处 理， 得到目标组件信息集 合； 文字识别单 元， 被配置成对所述待切割的屏幕图像进行文字识别， 得到文字信息集 合； 组合单元， 被配置成对所述目标组件信息集合和所述文字信息集合进行组合处理， 得 到屏幕画面识别 信息集合。 8.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 其上存 储有一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑6中任一所述的方法。 9.一种计算机可读介质， 其上存储有计算机程序， 其中， 所述程序被处理器执行时实现 如权利要求1 ‑6中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114926830 A 3