(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210459551.9 (22)申请日 2022.04.28 (71)申请人 河南科技大 学 地址 471000 河南省洛阳市涧西区西苑路 48号 (72)发明人 刘春阳　谢赛宝　陈帆　黄艳　 隋新　班宇煊　马琳　李红钰　 (74)专利代理 机构 洛阳公信知识产权事务所 (普通合伙) 41120 专利代理师 孙亚丽 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/579(2017.01) G06T 7/80(2017.01) G06T 1/00(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G01C 21/20(2006.01) G01C 21/16(2006.01) G01C 21/34(2006.01) (54)发明名称 室内导盲车及其 导盲方法 (57)摘要 本发明提供室内导盲车及其导盲方法， 其 中， 本发明的室内导盲车通过驱动电机带动实现 上臂、 下臂以及握把折叠， 解决待机状态下的空 间占用问题； 本发明的室内导盲方法通过深度相 机、 单目相机与IMU数据的结合， 实现较高精度的 自身定位与路径跟踪， 解决复杂室内环境下的导 航问题， 提高复现预定路径的能力。 并根据单双 目视觉融合获取环境信息， 提高障碍检测速度与 准确度， 帧间变化计算障碍动向， 实现预知性路 径规划。 权利要求书2页 说明书5页 附图4页 CN 114897979 A 2022.08.12 CN 114897979 A 1.室内导盲车， 包括上臂、 下臂以及载人平台， 载人平台的底部设置有用于驱动该室内 导盲车行走 的车轮机构， 其特征在于， 下臂与载人平台之间以及下臂与上臂之间均通过转 轴连接， 且下臂和上臂均通过驱动电机驱动旋转， 上臂的自由端设置有握把； 上臂的顶端外侧设置有深度相机、 红外光发射器以及单目相机， 且该室内导盲车内还 集成有控制器和用于接收指 令的集成模块， 集 成模块、 深度相机、 红外光 发射器以及单目相 机均连接 至控制器的输入端， 控制器的输出端分别连接所述的驱动电机和车轮机构。 2.根据权利要求1所述的室内导盲车， 其特征在于， 载人平台的上端面上开设有与 下臂 相匹配的收纳槽 。 3.根据权利要求2所述的室内导盲车， 其特征在于， 所述下臂 的底端为方形结构， 当下 臂向上旋转到一定角度时， 该 方形结构与收纳槽 抵接， 实现下壁的限位。 4.根据权利要求1所述的室内导盲车， 其特征在于， 所述下臂与 上臂之间设置有相互配 合的机械限位结构， 当下臂与上臂 平行时， 通过机 械限位结构实现上臂的限位。 5.根据权利要求4所述的室内导盲车， 其特征在于， 所述下臂与 上臂之间的连接处还设 置有可变向棘轮拨片， 通过 可变向棘轮拨片来限制上臂的旋转方向。 6.根据权利要求1 ‑5任一项所述的室内导盲车， 其特征在于， 所述集成模块包括语音模 块、 蓝牙模块和红外 接收器。 7.一种室内导盲方法， 其特 征在于， 包括以下步骤： S1、 预备工作， 包括： S11、 视觉slam建图： 由人工牵引完成地图收集工作， 并将三维地图转化为二维栅格地 图； S12、 深度学习训练： 将长宽高大于阈值的物体认定为固定物体， 对固定物体进行名称 联合训练， 使物体信息与栅格地图位置相关联； S13、 单目与深度相机标定： 使用标定板获取单目与双目相机的内参和外参， 根据内参 和外参将深度图数据从深度相机坐标系转化为世界坐标系， 再从世界坐标系转化为单目相 机坐标系完成深度图与彩色图像的配准工作； S2、 呼叫启动： 由呼叫器发射电磁波， 小车接收后启动； S3、 定位： 小车启动后， 自转一周收集图像信息， 依据固定物体获取自身定位， 并根据呼 叫信号判断呼叫器在地图中的定位； S4、 路劲规划： 以当前点 为起点， 目标点 为终点使用D*算法生成静态路径； S5、 行走： 通过帧间视觉特征点互补， 获得平移位置， 通过IMU 的预积分获得旋转位置， 两者通过紧耦合， 获取机器人移动方向与距离； S6、 避障： 行走过程中， 根据自身变化与异常特征点变化， 确定物体为静态或动态， 通过 深度分层获得相 机前方区域物体轮廓大小与距离， 反馈到地图部分， 按照避障策略进行实 时避障。 8.根据权利要求7所述的室内导盲方法， 其特征在于， 步骤S3 中依据固定物体获取自身 定位的过程包括以下步骤： S31、 获取栅格地图后， 对大 型物体赋予标签属性， 物体边 缘按照物体最大边 缘投影； S32、 基于YOLOv5训练获取大型物体的类别信息； 大型物体要求固定不移动， 将大型物 体的图片输入YOLOv5s网络， 给 各个物体添加各自标签；权　利　要　求　书 1/2 页 2 CN 114897979 A 2S33、 旋转获取物品位置； 开机自动旋转， 使用深度学习识别物体信息， 根据彩色图像的 像素点获取同步的深度信息； S34、 根据两个及以上物品的距离信 息与其在地图中的位置信息， 通过三角形定理获取 自身在地图中的位置； S35、 完成工作后的待机状态， 停留在指定位置并记录坐标以便下次使用。 9.根据权利要求7 所述的室内导盲方法， 其特 征在于， 步骤S5具体包括以下步骤： S51、 彩色图像特征点识别： 使用ORB算法获取图像的角点作为图像特征点； 将图像中特 征点数量超过 特定阈值的图像帧挑选为关键帧； S52、 获取 特征点深度信息： 根据单目与深度的配准矩阵， 获取 特征点对应的距离信息； S53、 特征点匹配： 获取不同关键帧的图片信息， 根据特 征点的相似性完成图像匹配； S54、 三角化： 不同时间的相机与物体构成三角关系， 根据特征点的角度变化与深度变 化计算机体位姿变换量； S55、 获取两个关键帧之间的IMU测量数据， 并进行 预积分获取机体位姿； S56、 将相机推算的位姿与 IMU预积分的位姿送入因子图中进行图优化得到精确的实时 位姿。 10.根据权利要求7所述的室内导盲方法， 其特征在于， 步骤S6通过深度分层获得相机 前方区域物体 轮廓大小与距离， 并反馈 到地图部分的过程具体包括： a、 通过ORB算法获取图像特 征点； b、 设置像素点间距阈值k， 遍历所有特征点， 将两点间距小于k的点归于同一类中， 当类 中的特征点数量大于阈值时， 将其归类障碍物； c、 设置深度阈值h0， 获取记为障碍物的特征点的深度值， 遍历所有点， 计算两点间深度 差h， 当h<h0时认为两点深度连续； 将满足深度连续的点分集 合存放； d、 遍历各障碍物集合， 取其边缘值构建三维轮廓， 并将边缘轮廓与机体的深度距离结 合计算其在地图坐标系中的位置， 加入地图的临时障碍集。权　利　要　求　书 2/2 页 3 CN 114897979 A 3