(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741130.5 (22)申请日 2022.06.27 (71)申请人 重庆科技学院 地址 401331 重庆市沙坪坝区大 学城东路 20号 (72)发明人 吕文琪　向毅　马骁　雷亮　 刘子樊　傅普杰　蒋鸿伟　吴锦洲　 何龙　冯小渝　简夜明　 (74)专利代理 机构 北京翔石知识产权代理事务 所(普通合伙) 11816 专利代理师 王洋洋 (51)Int.Cl. A61B 5/369(2021.01) A61B 5/372(2021.01) A61B 5/374(2021.01)A61G 5/10(2006.01) A61B 5/00(2006.01) G06F 3/01(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/73(2017.01) G06T 7/77(2017.01) (54)发明名称 基于脑电信号和SLAM控制的智能脑控轮椅 系统 (57)摘要 本发明公开了一种基于脑电信号和SLAM控 制的智能脑控轮椅系统， 包括脑电信号处理模 块、 脑电信号采集模块、 神经网络模块、 电源模 块、 蓝牙传输模块和导航模块， 所述脑电信号采 集模块利用OpenBCI开源脑电设备 获取使用者实 时脑电信号， 通过应用程序和软件在PC端绘制脑 电波图像并显示。 本发明可以帮助老年人和下肢 残疾人群解决其移动行走， 通过脑机接口接受使 用者大脑发出的前进后退等命令， 并通过视觉 SLAM实现进一 步的路径规划与自动驾驶。 权利要求书1页 说明书10页 附图4页 CN 115120250 A 2022.09.30 CN 115120250 A 1.一种基于脑电信号和SLAM控制的智能脑控轮椅系统， 其特征在于， 它包括脑电信号 处理模块、 脑电信号采集模块、 神经网络模块、 电源模块、 蓝牙传输模块和导航模块， 所述脑 电信号采集模块利用OpenBCI开源脑电设备获取使用者实时脑电信号， 通过应用程序和软 件在PC端绘制脑电波图像并显示； 脑电信号处理模块通过OpenBCI获取到的脑电信号进行特征提取， 数据分析等操作。 通 过巴特沃斯带通滤波器对各通道信号进 行降噪过滤， 获取对应频率范围下的α 波(8 ‑13Hz)， β 波(14‑30Hz)， θ波(4 ‑7Hz)， δ波(1 ‑4Hz)传入神经网络进行训练和预测； 神经网络模块通过EEGNet神经网络对传入的SSVEP脑电信号进行训练得到分类模型， 对之后传入的实时脑电信号进行 更好的预测， 转换化控制信号； 蓝牙传输模块采用无线蓝牙方式发送控制 指令到轮椅端， 实现人体脑电波对轮椅的控 制； 导航模块对已经获得的脑电信号指令， 通过双目摄像头获取周边环境信息， 使用视觉 SLAM技术处理环境信息进行建模， 生成并创建周边环境地图， 并通过生成的地图和目标地 点进行路径规划； 通过激光雷达传感器等多种传感器进行障碍物检测， 将障碍物信息结合 视觉SLAM更新 地图信息， 更改前进路径， 完成自主 避障。 2.如权利要求1所述的基于脑电信号和SLAM控制的智能脑控轮椅系统， 其特征在于， 导 航模块中对图像特 征提取采用ORB特 征检测算子， 完成图像特 征检测。 3.如权利要求2所述的基于脑电信号和SLAM控制的智能脑控轮椅系统， 其特征在于， 当 地图点的三维位置可用， 用ORB特征进行描述， 在当前图像帧中定位成功， 通过图像帧的运 动模型平均值来估计当前Kinect的位姿， 然后重映射地图点估计其在当前帧上的图像， 用 ORB特征描述的地图点与在预测点附近范围检测到了特征进行匹配， 图像上最小汉明距离 的特征点被选为匹配点， 然后利用非线性优化最小化重投影误差来计算获得相 机位姿， 优 化之后， 匹配点根据合适的阈值被 分为内点和外点， 当跟踪失败时， 将当前图像帧转换成图 像词袋， 检索图像数据库， 为全局重定位查找关键帧， 然后计算ORB特征和 每个关键帧的地 图云点的对应关系， 最后对每个关键帧执行随机一致性检验迭代计算， 用PnP算法估计 Kinect位姿， 获得 Kinect的位姿， 从而确定 定位。 4.如权利要求1所述的基于脑电信号和SLAM控制的智能脑控轮椅系统， 其特征在于， 导 航模块中特 征匹配分为以下四个步骤： 提取检测子： 寻找出两张图片中最容易识别出的像素点， 即颜色对比比较鲜明的像素 点， 比如纹 理丰富的物体角点和边 缘点等； 提取描述子： 针对检测出的角点， 用数学中常用的特征描述方法对其进行描述， 例如直 方图描述法等； 匹配： 根据第二 步提取岀的描述子来判断待匹配图像和模板图像中角点的对应关系； 消除噪声： 消除错 误匹配的角点信息， 保留正确的匹配点； 根据提取的特征点得到关键位置， 将关键点的位置进行计算得到描述子， 最后将描述 子进行匹配。权　利　要　求　书 1/1 页 2 CN 115120250 A 2基于脑电信号和SLAM 控制的智能脑控轮椅系统 技术领域 [0001]本发明涉及一种基于脑电信号和SLAM控制的智能脑控轮 椅系统。 背景技术 [0002]由于目前市场上的手推轮椅以及正在研发的智能轮椅均不能满足四肢残障人士、 渐冻症以及偏瘫病患在日常生活中独立行动和外出。 在轮椅控制中加入脑机接口技术， 是 脑科学与移动脑控轮椅机器人学 的一次完美结合。 通过对两大前沿技术的优势互补， 促进 智能轮椅的实现， 为行动不便者提供方便， 同时拓展了相关技术的应用领域脑控轮椅直接 依靠脑电信号控制， 无需外部设备干预。 基于脑电信号控制的自动驾驶自动轮椅的研究重 点就是脑机接口技术以及自动 驾驶技术。 传统的设备控制方式在脑机接口技术发展的过程 中得到了革新， 通过脑电控制轮椅变成可能； 而轮椅能够进 行自主导航、 自主避障等自动驾 驶的应用， 则需通过定位导航技术实现， 这也是增强脑控轮椅安全性的重要手段。 综上所 述， 脑控轮椅与自动驾驶相关技术的融合研究具有重大 的社会现实意义。 将用户的脑信号 转换成控制信号传达给轮 椅， 实现用户可以自由出 行， 增强用户的自信和幸福感。 [0003]因此， 研究开发一种基于脑电信号实现智能控制， 视觉SLAM实现自主导航的智能 轮椅系统具有广阔市场。 发明内容 [0004]为了解决上述问题， 本发明提供一种可以帮助老年人和下肢残疾人群解决其移动 行走， 通过脑机接口接受使用者大脑发出的前进后退等命令， 并通过视觉SLAM实现进一步 的路径规划与自动驾驶的基于脑电信号和SLAM控制的智能脑控轮 椅系统。 [0005]一种基于脑电信号和SLAM控制的智能脑控轮椅系统， 它包括脑电信号处理模块、 脑电信号采集模块、 神经网络模块、 电源模块、 蓝牙传输模块和导航模块， 所述脑电信号采 集模块利用OpenBCI开源脑电设备获取使用者实时脑电信号， 通过应用程序和软件在PC端 绘制脑电波图像并显示； [0006]脑电信号处理模块通过OpenBCI获取到的脑电信号进行特征提取， 数据分析等操 作。 通过巴特沃斯带通滤波器对各通道信号进行降噪过滤， 获取对应频率范围下的α波(8 ‑ 13Hz)， β 波(14 ‑30Hz)， θ波(4 ‑7Hz)， δ波(1 ‑4Hz)传入神经网络进行训练和预测； [0007]神经网络模块通过EEGNet神经网络对传入的SSVEP脑电信号进行训练得到分类模 型， 对之后传入的实时脑电信号进行 更好的预测， 转换化控制信号； [0008]蓝牙传输模块采用无线蓝牙方式发送控制指令到轮椅端， 实现人体脑电波对轮椅 的控制； [0009]导航模块对已经获得的脑电信号指令， 通过双目摄像头获取周边环境信息， 使用 视觉SLAM技术处理环境信息进行建模， 生成并创建周边环境地图， 并通过生成的地图和目 标地点进行路径规划； 通过激光雷达传感器等多种传感器进行障碍物检测， 将障碍物信息 结合视觉SLAM更新 地图信息， 更改前进路径， 完成自主 避障。说　明　书 1/10 页 3 CN 115120250 A 3