(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593175.2 (22)申请日 2022.05.27 (71)申请人 合肥的卢深视科技有限公司 地址 230091 安徽省合肥市高新区习友路 3333号中 国 （合肥） 国际智能语音产业 园研发中心 楼611-217室 (72)发明人 王亚运　薛远　曹天宇　李绪琴　 户磊　 (74)专利代理 机构 北京智晨知识产权代理有限 公司 11584 专利代理师 张婧 (51)Int.Cl. G06V 40/12(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 手掌姿态估计方法、 电子设 备及存储介质 (57)摘要 本申请实施例涉及图像识别领域， 公开了一 种模型训练方法、 手掌姿态估计方法、 电子设备 及存储介质。 模型训练方法包括： 构建用于生成 图像样本对的特征图的特征提取模型； 其中， 所 述图像样本对包括手掌彩色图像和手掌红外图 像； 对所述手 掌彩色图像的特征图和所述手掌红 外图像的特征图进行匹配， 确定互为同名点的特 征点对； 基于所述特征点对 得到的视差值与所述 手掌红外图像经单目匹配算法得到的参考视差 值之间的距离构建损失函数， 对 所述特征提取模 型进行训练。 应用于手掌姿态估计过程中， 提高 手掌姿态估计准确性。 权利要求书2页 说明书8页 附图2页 CN 115050059 A 2022.09.13 CN 115050059 A 1.一种模型训练方法， 其特 征在于， 包括： 构建用于生成图像样本对的特征图的特征提取模型； 其中， 所述图像样本对包括手掌 彩色图像和手掌红外图像； 对所述手掌彩色图像的特征图和所述手掌红外图像的特征图进行匹配， 确定互为同名 点的特征点对； 基于所述特征点对得到的视差值与所述手掌红外图像经单目匹配算法得到的参考视 差值之间的距离构建损失函数， 对所述特 征提取模型进行训练。 2.根据权利要求1所述的模型训练方法， 其特征在于， 所述对所述手掌彩色图像的特征 图和所述手掌红外图像的特 征图进行匹配， 确定互为同名点的特 征点对， 包括： 分别计算所述手掌彩色图像的特征图和所述手掌红外图像的特征图中每个像素点的 特征向量模值； 以预设的搜索窗口分别在所述手掌彩色图像的特征图和所述手掌红外图像的特征图 中， 确定所述搜索窗口内特征向量模值的极大值点， 并将所述极大值点对应的像素点作为 特征点； 采用预设的特征匹配算法对所述手掌彩色图像的特征图中的特征点和所述手掌红外 图像的特 征图中的特 征点进行匹配， 确定互为同名点的特 征点对。 3.根据权利要求1或2所述的模型训练方法， 其特征在于， 所述基于所述特征点对得到 的视差值与所述手掌红外图像经单目匹配算法得到的参考视差值之间的距离构建损失函 数， 对所述特 征提取模型进行训练， 包括： 将所述手掌红外图像经单目匹配算法得到的视差图投影到红外相机坐标系下， 并进行 下采样处 理得到红外相机坐标系下与所述特 征图尺寸相同的视 差图； 确定所述手掌红外图像的特征图中各特征点在所述视差图中对应的像素点的视差值， 并将所述视 差值作为 参考视差值； 基于所述特征点对得到的视差值与 所述参考视差值之间的距离构建损失函数， 对所述 特征提取模型进行训练。 4.根据权利要求1或2所述的模型训练方法， 其特征在于， 所述损 失函数通过以下公式 构建： 其中， N是特征点对的数量， 是所述手掌红外图像经单目匹配算法得到的参考视差 值， 是所述手掌红外图的特征图的特征点x坐标， 是所述手掌彩色图的特征图的特征 点x坐标。 5.一种手掌姿态估计方法， 其特 征在于， 包括： 将拍摄同一手掌得到的待测手掌彩色图像和待测手掌红外图像输入到已训练好的特 征提取模型中， 得到所述待测手掌彩色图像的特征图和待测手掌红外图像的特征图； 其中权　利　要　求　书 1/2 页 2 CN 115050059 A 2所述特征提取模型通过如上权利要求1至4中任一项所述的模型训练方法获取； 对所述待测手掌彩色图像的特征图和所述待测手掌红外图像的特征图进行匹配， 确定 互为同名点的特征点对， 并获取所述特征点对中待测手掌红外图像的特征点的三 维点云数 据； 计算所述三维点云数据的协方差矩阵， 并采用特征值分解法确定所述协方差矩阵的特 征值和所述特 征值对应的特 征向量； 将所述特征值的最大值所对应的特征向量、 次大值所对应的特征量和第 三大值所对应 的特征向量组合作为手掌姿态旋转矩阵， 并根据所述手掌姿态旋转矩阵确定手掌的三维姿 态。 6.根据权利要求5所述的手掌姿态估计方法， 其特征在于， 所述获取所述特征点对中待 测手掌红外图像的特 征点的三维点云数据， 包括： 采用深度计算公式获取 所述特征点对中待测手掌红外图像的特 征点的深度值； 根据所述待测手掌红外 图像的特征点的图像坐标、 所述深度值和预设的相机内参， 计 算在红外相机坐标系下待测手掌红外图像的特 征点的三维点云数据。 7.根据权利要求5所述的手掌姿态估计方法， 其特征在于， 通过以下公式确定手掌的三 维姿态： 其中， R为手掌姿态旋转矩阵， ( θx， θy， θz)为手掌的三维姿态。 8.根据权利要求5所述的手掌姿态估计方法， 其特征在于， 所述获取所述特征点对中待 测手掌红外图像的特 征点的三维点云数据之前， 还 包括： 计算所述特 征点对中两个特 征点的横坐标差值； 将所述横坐标差值超过 预设阈值所对应的特 征点对从确定的特 征点对中剔除。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处理器通信连接的存储器； 其中， 所述存储器存储有可被所述至少一 个处理器执行 的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器能 够执行如权利要求 1至4中任一所述的模型训练方法， 或者能够执行如权利要求5至8中任一 项所述的手掌姿态估计方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现权利要求 1至4中任一所述的模 型训练方法， 或者能够执行如权利要求5至8 中任一项所述的手掌姿态估计方法。权　利　要　求　书 2/2 页 3 CN 115050059 A 3