(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210617591.1 (22)申请日 2022.06.01 (71)申请人 四川大学 地址 610065 四川省成 都市一环路南 一段 24号 (72)发明人 张琪然　詹悦涓　左浩岚　屈展　 程楠梨　 (74)专利代理 机构 武汉菲翔 知识产权代理有限 公司 42284 专利代理师 龙海丽 (51)Int.Cl. G01C 21/16(2006.01) G06T 7/73(2017.01) G06T 7/277(2017.01) G06T 19/00(2011.01) (54)发明名称 基于智能数据的多 模态三维影 像导航系统 (57)摘要 本发明公开了基于智能数据的多模态三维 影像导航系统， 包括图像数据采集模块、 图像特 征提取模块、 地标位置计算模块、 组合导航模块、 机体位置确定模块和目标位置确定模块， 所述图 像数据采集模块、 图像特征提取模块、 地标位置 计算模块、 组合导航模块、 机体位置确定模块和 目标位置确定模块依次连接。 本发 明利于卡尔曼 滤波的方法实现计算机视觉与导航系统结合的 目的， 利于已知坐标点的位置信息， 为机体运行 进行三维影 像导航。 权利要求书1页 说明书3页 附图1页 CN 114942026 A 2022.08.26 CN 114942026 A 1.基于智能数据的多模态三维影像导航系统， 其特征在于， 包括图像数据采集模块、 图 像特征提取模块、 地标位置计算模块、 组合导航模块、 机体位置确定模块和目标位置确定模 块， 所述图像数据采集模块、 图像特征提取模块、 地标位置计算模块、 组合导航模块、 机体位 置确定模块和目标位置确定模块依次连接 。 2.根据权利要求1所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 图像数据采集模块包括摄像机， 摄像机为计算机视觉系统， 摄像机安装时， 光轴相对于水平 面向下成一定角度， 摄 像机所确定的坐标系为测量 坐标系， 所述摄 像机连接 机体。 3.根据权利要求1所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 图像特征提取模块用于对摄 像机所拍摄的图像进行处 理， 得到特 征点在图像中的位置 。 4.根据权利要求3所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 得到特征点在图像中的位置具体为： 摄像机拍摄一个场景， 通过光学成像得到关于这个场 景的图像， 在摄像机成像时， 通过特征点， 对图像进行检索， 得到特征点在图像坐标中的位 置。 5.根据权利要求1所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 地标位置计算模块， 通过摄像机得到地标与机体之前 的瞄准线方向， 得到地标与机体在地 球坐标系中的方向向量， 通过坐标变化， 得到地标与机体之间在测量坐标系中的方向向量， 通过透视变换得到地标在图像中所在的位置， 得到卡尔曼 滤波所要的另一组图像坐标。 6.根据权利要求1所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 组合导航模块， 通过SINS提供的航向和姿态信息， 得到从地面已知点到机体的瞄准线方向， 由于SINS测 定航向时有角偏差存在， 瞄准线则落在这个偏差角范围内， 几个瞄准线的覆盖 范围的相交部分为机体的大致 位置信息 。 7.根据权利要求1所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 机体位置确定模块， 通过地面已知地标点来确定机体的位置即利用地标点位置信息以及机 体与地标点间的瞄准线方向， 得到 机体的位置信息 。 8.根据权利要求1所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 目标位置确定模块利于已知地标， 在航行 的时候对机体进行定位， 当图像中已知的地标存 在时， 机体的位置为 准确位置 。 9.根据权利要求1所述的基于智能数据的多模态三维影像导航系统， 其特征在于， 所述 目标位置确定模块利于机体轨迹的两个点的位置信息和在这两个点上机体与地面未知地 标点的瞄准线方向， 确定地 面上未知地标的位置 。权　利　要　求　书 1/1 页 2 CN 114942026 A 2基于智能数据的多模 态三维影像导航系统 技术领域 [0001]本发明涉及导 航技术领域， 尤其涉及基于智能数据的多模态三维影 像导航系统。 背景技术 [0002]许多商业导航系统基于已应用于机动车导航的以卫星为基础的全球定位系统 (GPS)设备， 例如， 参见实际上全部引入在此作为参考的美国专利号5938720、 5928307、 5922042、 5912 635、 5910177、 59 04728、 5902350， 然而， 这样的机动车导航系统是昂贵的并且 不便于使用， 且现有的导航系统不能够根据采集的数据进行多模态三维影像导航， 不便于 将导航与视觉系统相结合， 导 航的精度不高。 发明内容 [0003]基于背景技术存在的技术问题， 本发明提出了基于智能数据的多模态三维影像导 航系统。 [0004]本发明提出的基于智能数据的多模态三维影像导航系统， 包括图像数据采集模 块、 图像特征提取模块、 地标位置计算模块、 组合导航模块、 机体位置确定模块和目标位置 确定模块， 所述图像数据采集模块、 图像特征提取模块、 地标位置计算模块、 组合导航模块、 机体位置确定模块和目标位置确定模块依次连接 。 [0005]优选的， 所述图像数据采集模块包括摄像机， 摄像机为计算机视觉系统， 摄像机安 装时， 光轴相对于水平面向下成一定角度， 摄像机所确定的坐标系为测量坐标系， 所述摄像 机连接机体。 [0006]优选的， 所述图像特征提取模块用于对摄像机所拍摄的图像进行处理， 得到特征 点在图像中的位置 。 [0007]优选的， 所述得到特征点在图像中的位置具体为： 摄像机拍摄一个场景， 通过光学 成像得到关于这个场景的图像， 在摄像机成像时， 通过特征点， 对图像进行检索， 得到特征 点在图像坐标中的位置 。 [0008]优选的， 所述地标位置计算模块， 通过摄像机得到地标与机体之前的瞄准线方向， 得到地标与机体在地球坐标系中的方向向量， 通过坐标变化， 得到地标与机体之间在测量 坐标系中的方向向量， 通过透视变换得到地标在图像中所在的位置， 得到卡尔曼滤波所要 的另一组图像坐标。 [0009]优选的， 所述组合导航模块， 通过S INS提供的航向和姿态信息， 得到从地面已知点 到机体的瞄准线方向， 由于SINS测 定航向时有角偏差存在， 瞄准线则落在这个偏差角范围 内， 几个瞄准线的覆盖范围的相交部分为机体的大致 位置信息 。 [0010]优选的， 所述机体位置确定模块， 通过地面已知地标点来确定机体的位置即利用 地标点位置信息以及机体与地标点间的瞄准线方向， 得到 机体的位置信息 。 [0011]优选的， 所述目标位置确定模块利于已知地标， 在航行的时候对机体进行定位， 当 图像中已知的地标存在时， 机体的位置为 准确位置 。说　明　书 1/3 页 3 CN 114942026 A 3