(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210793246.3 (22)申请日 2022.07.05 (71)申请人 安徽一维新能源技 术有限公司 地址 230000 安徽省合肥市高新区创新大 道90号银瑞科技园2#厂房5层 (72)发明人 许诺　吴升　宋琦　汪国军　余钱　 (74)专利代理 机构 合肥正则元起专利代理事务 所(普通合伙) 3416 0 专利代理师 李敏 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/90(2017.01) G06T 7/11(2017.01) G06T 7/80(2017.01) G06F 17/18(2006.01)G06F 17/16(2006.01) A47L 11/24(2006.01) A47L 11/40(2006.01) (54)发明名称 基于深度摄像头的污渍智能清扫系统及清 扫方法 (57)摘要 本发明公开了基于深度摄像头的污渍智能 清扫系统及清扫方法， 涉及人工智能技术领域， 解决了扫地机器人如何高效率清扫污渍的技术 问题； 包括： 扫地机器人、 深度摄像头、 污渍识别 模块、 导航模块以及清扫装置； 所述深度摄像头 彩色图像和深度图像， 根据彩色图像和深度图像 获取相机坐标系下的彩色点云， 从而获得仅含地 面的彩色图像并发送至所述污渍识别模块； 所述 污渍识别模块将仅含地面的彩色图像通过GMM算 法提取污渍本身颜色与轮廓特征， 并生成世界坐 标系下的污渍坐标发送至所述导航模块； 所述导 航模块根据世界坐标系下的污渍坐标生成扫地 机器人的导航路线， 指引扫地机器人前往污渍位 置使用清扫装置对污 渍进行清扫。 权利要求书3页 说明书7页 附图1页 CN 115049733 A 2022.09.13 CN 115049733 A 1.基于深度摄像头的污渍智能清扫系统， 其特征在于， 包括： 扫地机器人、 深度摄像头、 污渍识别模块、 导 航模块以及清扫装置； 所述深度摄 像头、 污渍识别模块、 导 航模块以及清扫装置安装于扫地机器人中； 所述深度摄像头用于获取深度图像和彩色图像， 所述深度摄像头还用于获取仅含地面 的彩色图像， 所述深度摄 像头将获取的仅含地 面的彩色图像发送至所述污 渍识别模块； 所述污渍识别模块用于对仅含地面的彩色图像中的污渍位置进行标记并生成实际环 境中的污渍坐标， 所述污渍识别模块将生成的实际环境中的污渍坐标发送至所述导航模 块； 所述导航模块用于根据实际环境中的污 渍坐标进行规划所述扫地机器人的导 航路线； 所述清扫装置用于对地 面的污渍进行清扫。 2.根据权利要求1所述的基于深度摄像头的污渍智能清扫系统， 其特征在于， 扫地机器 人通过在线学习模式， 对污渍清扫的效果进行统计， 扫地机器人跳过清扫无效污渍和障碍 物阻挡区域， 并生成后台污 渍清扫的统计数据。 3.根据权利要求1所述的基于深度摄像头的污渍智能清扫系统， 其特征在于， 所述深度 摄像头对地面角度调以涵盖不同扫描 范围， 通过向地面放置标定颜色和反光度的标志物进 行摄像头指向角度的坐标计算。 4.基于深度摄像头的污渍智能清扫方法， 应用于权利要求1 ‑3任意一项所述的基于深 度摄像头的污 渍智能清扫系统， 其特 征在于， 包 含以下步骤： 步骤一： 所述深度摄像头获取扫地机器人前方视野的彩色图像和深度图像， 所述深度 摄像头根据彩色图像和深度图像获取相机坐标系下的彩色点云； 所述深度摄像头对相机坐标系下的彩色点云进行平面检测获取仅含地面的彩色图像； 所述深度摄 像头将仅含地 面的彩色图像发送至所述污 渍识别模块； 步骤二： 所述污渍识别 模块接收到仅含地面的彩色图像， 通过GMM算法提取污渍本身颜 色与轮廓特征， 对污渍的位置进行标记并结合深度图像生成世界坐标系 下的污渍坐标， 所 述污渍识别模块将世界坐标系下的污 渍坐标发送至所述 导航模块； 步骤三： 所述导航模块接收到世界坐标系下的污渍坐标后， 生成扫地机器人的导航路 线， 指引扫地机器人 前往污渍位置使用清扫装置对污 渍进行清扫。 5.根据权利要求4所述的基于深度摄像头的污渍智能清扫方法， 其特征在于， 所述深度 摄像头将彩色图像和深度图像转 化为相机坐标系下的彩色点云， 根据以下计算公式获取： 以图像左上角为原点建立以像素为单位的像素坐标系为u ‑v， 其中(u,v)表示像素的列 数和行数； 建立以物理单位表示的图像坐标系x ‑y， 将深度摄像头的光轴 与图像平面的交点 定义为图像 坐标系的原点O， 且x轴与u轴平行， y轴与v轴平行； 设(u0， v0)表示原点O在像素坐 标系下的坐标， dx和dy分别表示每个像素在x轴和y轴上的物理尺寸， 则图像中每个像素在 u‑v坐标系中的坐标和在x ‑y坐标系中的坐标之间存在的关系为： 权　利　要　求　书 1/3 页 2 CN 115049733 A 2转为矩阵形式为： 设深度摄像头的相机坐标系为XC‑YC‑ZC， 其中原点OC为深度摄像头的光心， XC轴和YC轴 分别与图像 坐标系中的x轴和y轴平行， OOC为深度摄像头焦距， 设OOC焦距为f， 则图像中每个 像素在图像坐标系中的坐标和在相机坐标系中的坐标之间存在 如下的关系： 转为矩阵形式为： 6.根据权利要求4所述的基于深度摄像头的污渍智能清扫方法， 其特征在于， 所述深度 摄像头对相 机坐标系 下的彩色点云进行平面检测， 将地面和障碍物分离， 从而获得仅含地 面的彩色图像； 检测方法如下： 设深度摄像头的光心距地面的高度 为H， (XP,YP,ZP)为像素坐标系中的某个像素点对应 的相机坐标系中的P点的三维坐标， 则P点到地面的距离为： hP＝H‑YP； 设定阈值Δh， 当hP＜ Δh时， 认为该像素属于地面的障碍区域， 则去除障碍区域， 得到仅含地面的深度图像和彩 色图像。 7.根据权利要求4所述的基于深度摄像头的污渍智能清扫方法， 其特征在于， 所述污渍 识别模块接收到仅含地面的彩色图像， 通过GMM算法提取污渍本身颜色与轮廓特征的计算 公式如下： 将图像分割成k个区域， 每个区域的像素服从均值 μ、 方差为Σ的正态分布， 整个图像特 征分布用混合高斯分布来描述， 对于特征向量集Q中有n个样本： s1,s2,…sn， 其高斯分布的 密度函数为： 使用随机变量θ(μ， Σ)来表示待估计的参数， 则极大似然估计的数学表示形式为： 8.根据权利要求 4所述的基于深度摄 像头的污 渍智能清扫方法， 其特 征在于， 设深度摄像头所处实际环境的世界参考系为XW‑YW‑ZW,平移向量T和旋转矩阵R用来表 示 深 度 摄 像 头 坐 标 系 和 世 界 坐 标 系 之 间 的 关 系 ，则 两 者 之 间 的 关 系 为 ： 权　利　要　求　书 2/3 页 3 CN 115049733 A 3