(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210722609.4 (22)申请日 2022.06.24 (71)申请人 中国科学院深圳先进技 术研究院 地址 518000 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 宋呈群　程俊　吴福祥　郭海光　 高向阳　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 张菁华 (51)Int.Cl. G06T 7/73(2017.01) G06V 20/00(2022.01) A61H 3/06(2006.01) (54)发明名称 导盲方法、 装置及可读存 储介质 (57)摘要 本申请适用于导盲技术领域， 提供了一种导 盲方法、 装置及可读存储介质。 该方法包括： 通过 摄像头获取第一图像序列， 第一图像序列包括第 一时刻的第一图像； 根据第一图像序列， 获取第 一时刻的环境地图和摄像头在第一时刻 的环境 地图中的位姿信息； 在第一图像中识别出第一物 体， 获取第一物体的语义信息和第一物体的掩 膜； 将第一物体的掩膜投射到第一时刻的环境地 图中， 获取第一物体的三维位置信息； 根据摄像 头在第一时刻 的环境地图中的位姿信息和第一 物体的三维位姿信息， 获取摄像头和第一物体 之 间的相对位姿信息； 播报相对位姿信息和第一物 体的语义信息。 本申请有益于帮助视障人士更准 确地感知周围的环境， 提高了导盲方法的可靠 性。 权利要求书2页 说明书12页 附图4页 CN 115205384 A 2022.10.18 CN 115205384 A 1.一种导盲方法， 其特 征在于， 包括： 通过摄像头获取第一图像序列， 所述第一图像序列包括第一时刻的第一图像； 根据所述第 一图像序列， 获取所述第 一时刻的环境地图和所述摄像头在所述第 一时刻 的环境地图中的位姿信息； 在所述第一图像中识别出第 一物体， 获取所述第 一物体的语义信 息和所述第 一物体的 掩膜； 将所述第一物体的掩膜投射到所述第 一时刻的环境地图中， 获取所述第 一物体的三维 位置信息； 根据所述摄像头在所述第一时刻的环境地图中的位姿信息和所述第一物体的三维位 置信息， 获取 所述摄像头和所述第一物体之间的相对位姿信息； 播报所述相对位姿信息和所述第一物体的语义信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述第一时刻的环境地图包括多个特征 点； 所述将所述第一物体的掩膜投射到所述第一时刻的环境地图中， 获取所述第一物体的 三维位置信息， 包括： 将所述第一物体的掩膜投射到所述第 一时刻的环境地图中， 在所述多个特征点中获取 所述掩膜对应的目标 特征点； 根据所述目标特征点的三维位置信 息， 得到所述掩膜的中心在所述第 一时刻的环境地 图中的三维位置信息， 并确定为所述第一物体的三维位置信息 。 3.根据权利要求2所述的方法， 其特 征在于， 获取 所述第一物体的掩膜， 包括： 根据所述第一物体的语义信息， 在所述第一物体上生成所述第一物体的掩膜； 所述第 一物体的掩膜的区域大小和形状与所述第一物体的类型相关。 4.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述相对位姿信息包括所述摄 像头和所述第一物体之间的相对距离和相对角度； 所述播报所述相对位姿信息和所述第一物体的语义信息， 包括： 若所述相对距离在预设距离范围内， 或者， 所述相对角度在预设角度 范围内， 则播报所 述相对位姿信息和所述第一物体的语义信息 。 5.根据权利要求1 ‑3中任一项所述的方法， 其特 征在于， 所述方法还 包括： 通过摄像头获取第二图像序列， 所述第二图像序列包括第二时刻的第二图像， 所述第 二时刻位于所述第一时刻之后； 根据所述第 二图像序列和所述第 一时刻的环境地图， 获取第 二时刻的中间环境地图和 所述摄像头在所述中间环境 地图中的位姿信息； 将所述中间环境地图中所述摄像头周围预设范围的部分确定为所述第二时刻的环境 地图。 6.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述根据所述第一图像序列， 获取所述第一时刻的环境地图和所述摄像头在所述第一时刻的环境地图中的位姿信息， 包 括： 通过IMU获取第一数据； 根据所述第 一数据和所述第一图像序列， 通过SLAM方法获取所述第一时刻的环境地图 和所述摄 像头在所述第一时刻的环境 地图中的位姿信息 。权　利　要　求　书 1/2 页 2 CN 115205384 A 27.根据权利要求1 ‑3中任一项所述的方法， 其特 征在于， 还 包括： 接收超声波检测装置发送的障碍物信 息； 所述超声波检测装置用于检测所述摄像头前 方是否有障碍物， 所述障碍物信息包括所述摄 像头与所述障碍物之间的距离； 播报所述障碍物的信息 。 8.一种导盲装置， 其特征在于， 包括： 获取模块、 地图构建模块、 物体识别模块、 投影模 块、 确定模块和播报模块； 所述获取模块， 用于通过摄像头获取第一图像序列， 所述第一图像序列包括第一时刻 的第一图像； 所述地图构建模块， 用于根据所述第一图像序列， 获取所述第一时刻的环境地图和所 述摄像头在所述第一时刻的环境 地图中的位姿信息； 所述物体识别模块， 用于在所述第一图像中识别出第一物体， 获取所述第一物体的语 义信息和所述第一物体的掩膜； 所述投影模块， 用于将所述第一物体的掩膜投射到所述第一时刻的环境地图中， 获取 所述第一物体的三维位置信息； 所述确定模块， 用于根据所述摄像头在所述第 一时刻的环境地图中的位姿信 息和所述 第一物体的三维位置信息， 获取 所述摄像头和所述第一物体之间的相对位姿信息； 所述播报模块， 用于播报所述相对位姿信息和所述第一物体的语义信息 。 9.一种导盲装置， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115205384 A 3