(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210288001.5 (22)申请日 2022.03.23 (71)申请人 西安邮电大 学 地址 710121 陕西省西安市长安区西安邮 电大学南校区计算机学院 (72)发明人 潘晓英　杨迪　王昊　贺琪琪　 廉佳　 (74)专利代理 机构 西安新思维专利商标事务所 有限公司 61 114 专利代理师 黄秦芳 (51)Int.Cl. H04N 5/225(2006.01) H04N 5/232(2006.01) H04N 5/235(2006.01) (54)发明名称 一种快速检测和修复内窥镜下高能量可见 光的快速方法 (57)摘要 本发明提供了一种快速检测和修复内窥镜 下高能量可见光的方法， 属于 数字图像处理技术 领域， 该方法包括以下步骤： 1： 获取内窥镜摄像 头采集到的视频流， 并且利用帧间差法对采集到 的视频流进行异常帧 （曝光帧、 暗帧） 检测； 2： 利 用光流法对检测出的曝光帧进行修复； 3： 采用均 值提亮法对暗帧进行提亮； 4： 将修复的曝光帧、 提亮的暗帧和正常帧合成视频流输出得到清晰 正常的手术视频影像。 通过本发 明提供的检测和 修复内窥镜下高能量可见光的方法可快速检测 曝光帧并修复， 修复率高达98.88%， 通过均值提 亮算法有效增强图像亮度， 且处理速度控制在 30ms以内， 使得医生能够在手术中观 看到清晰稳 定 （无闪烁、 无突变） 的视频流。 权利要求书1页 说明书4页 附图2页 CN 114679524 A 2022.06.28 CN 114679524 A 1.一种快速检测 和修复内窥镜下高能量可 见光的方法， 其特 征在于， 包括以下步骤： 步骤一： 获取内窥镜摄像头采集到的视频流， 并且利用帧间差法对采集到的视频流进 行异常帧的检测,所述异常帧是曝光帧和暗帧； 对曝光帧进行检测： 采集到的视频流中， 先出现一段正常的视频流， 将视频流中的所有 相邻帧做差， 得到一系列帧间差图， 若帧间差图的特征不超过预设的特征阈值时， 当前帧为 正常帧， 若帧间差图的特 征超过预设的特 征阈值时， 当前帧为曝光帧； 对暗帧进行检测： (1)找到第一个曝光序列曝光开始的前一帧， 并计算整张图的RGB均 值得到Fmean_R、 Fmean_G、 Fmean_B； (2)对所有后续帧(修复的曝光帧和正常帧)计算其各自 的Smean_R、 Smean_G、 Smean_B， 且计算Rrate＝Fmean_R/Smean_R,Grate＝Fmean_G/Smean_ G,Brate＝Fmean_B/Smean_B； (3)若Max[Rrate,Grate,Brate]>1， 则该帧被定义 为暗帧； 步骤二： 利用光流法对检测出的曝光帧进行修复， 同时采用均值提亮法对暗帧进行提 亮： 利用光流法对检测出的曝光帧进行修复的具体步骤为： (1)将连续两个正常帧作为模 型的输入； (2)利用光流法构建像素运动轨迹预测模型， 预测得到曝光开始的第一 帧图像； (3)将最后一个正常帧和预测得到的曝光开始的第一帧图像再次作为预测模型的输入， 预 测得到曝光中的第二 帧图像； (4)反复循环上述步骤(1)、 (2)， 可预测得到所有曝光帧的图 像， 即可得到所有修复的 曝光帧； 采用均值提亮法对暗帧进行提亮的具体方式为： 暗帧R通道的每个像素乘Rrate、 G通道 的每个像素乘Grate、 B通道的每个像素乘Brate得到拉亮后的帧； 步骤3： 将修复的曝光帧、 提亮的暗帧和正常帧合成视频流输出 得到清晰正常的手术视频影 像。 2.根据权利要求1所述的一种快速检测和修复内窥镜下高能量可见光的方法， 其特征 在于， 所述步骤1中， 检测到曝光帧后， 将曝光开始帧及其之后的曝光帧均与曝光开始帧的 前一帧作差得到帧间差图， 利用帧间差法确定曝光 开始帧和结束帧的位置， 具体方法如下： (1)若当前帧间差图的特征超过预设的特征阈值， 且预设的特征阈值为正数， 则当前帧 间差图中的前一帧被判定为曝光帧开始前最后一个正常帧， 当前帧间差图中的后一帧为曝 光开始的第一帧； (2)若当前帧间差图的特征超过预设的特征阈值， 且预设的特征阈值为负数， 则当前帧 间差图中的前一帧被判定为曝光帧结束的最后一帧， 当前帧间差图中的后一帧为正常帧开 始的第一帧。 3.根据权利要求2所述的一种快速检测和修复内窥镜下高能量可见光的方法， 其特征 在于， 所述帧间差图的特征为亮度特征值， 其计算方式为： 取帧间差图中两个特定部位的三 通道均值R1、 G1、 B1和R2、 G2、 B2， 帧间差图的亮度特征为其六个值中的最大值， 即max(R1、 G1、 B1、 R2、 G2、 B2)。权　利　要　求　书 1/1 页 2 CN 114679524 A 2一种快速检测和修复内窥镜 下高能量可见光的快速方 法 技术领域 [0001]本发明涉及数字图像处理技术领域， 具体涉及一种快速检测和修复内窥镜下高能 量可见光的方法。 背景技术 [0002]在医疗领域的内窥镜场景中， 内窥镜系统的发展使得医生在病情诊断、 手术治疗 等环节取得了极大 的效率提升。 但在手术中使用内窥镜时仍然存在以下问题： 在激光手术 中， 由于可见光激光刀在工作时会对电子内窥镜的摄像头造成严重的过曝现象， 且软性电 子内窥镜摄像头无法像硬式电子内窥镜摄像头一样安装滤光器。 那么， 医生在对病 人病灶 进行激光手术时， 视频成像必 然会出现曝光现象。 此外， 当亮度值到达门限值附近时内窥镜 会过度调整自身参数， 使得视频画 面显示出不稳定的亮暗变换。 此时， 医生相当于在不可视 或视野不稳定的情况下进 行激光手术， 这将有可能导致患者受伤、 出血或穿孔， 手术风险大 幅度提高。 [0003]现有的技术中也有对异常图像进行检测和修复的方法， 主要分为两种： 基于物理 的方法和基于算法的方法。 基于物理的方法通常根据图像中视野区域的亮度信息自动调整 内窥镜曝光参数， 该方法通过一个反馈机制来调节内窥镜前端镜头的物距和/或焦距， 以使 前端镜头获得 的视野区域稳定， 该方法看起来合情合理， 但在实践中这一反馈机制往往会 产生较大 的延迟， 以至于其实时性较差， 且镜头自身不间断地调节也会给激光手术带来很 多不稳定的因素； 基于算法的方法通常根据整张图的亮度信息来判断该图的曝光情况， 但 由于激光手术中出现的曝光情况可能是局部的， 因此根据整张图的亮度信息来检测曝光帧 会出现大量漏检的情况， 依然 无法有效解决激光手术中， 全局和/或局部曝光对医生视线产 生消极影响的问题。 发明内容 [0004]本发明的目的在于解决现有技术中的问题， 提供一种快速检测和修复内窥镜下高 能量可见光的方法使得医生能够 在手术中观看到清晰稳定的视频流。 [0005]为达到上述目的， 本发明采用以下技术方案予以实现： 一种快速检测和修复内窥 镜下高能量可 见光的方法， 包括以下步骤： [0006]步骤一： 获取内窥镜摄像头采集到 的视频流， 并且利用帧间差法对采集到 的视频 流进行异常帧的检测,所述异常帧是曝光帧和暗帧； [0007]对曝光帧进行检测： 采集到的视频流中， 先出现一段正常的视频流， 将视频流中的 所有相邻帧做差， 得到一系 列帧间差图， 若帧间差图的特征不超过预设的特征阈值时， 当前 帧为正常帧， 若帧间差图的特 征超过预设的特 征阈值时， 当前帧为曝光帧； [0008]对暗帧进行检测： (1)找到第一个曝光序列曝光开始的前一帧， 并计算整张图的 RGB均值得到Fmean_R、 Fmean_G、 Fmean_B； (2)对所有后 续帧(修复的曝光帧和正常 帧)计算 其各自的Smean_R、 Smean_G、 Smean_B， 且计算Rrate＝Fmean_R/Smean_R,Grate＝Fmean_G/说　明　书 1/4 页 3 CN 114679524 A 3