(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210449113.4 (22)申请日 2022.04.26 (71)申请人 杭州隐捷适 生物科技有限公司 地址 310006 浙江省杭州市下城区沈家路 319号106室 (72)发明人 郭艳凯　韦虎　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 6/03(2006.01) (54)发明名称 基于深度学习的头颅侧位片关键点自动检 测系统及方法 (57)摘要 本发明公开了一种基于深度学习的头颅侧 位片关键点自动检测系统及方法。 本发明包括如 下步骤： 步骤1、 头颅侧位片CT图像的收集和预处 理； 构造模型训练的,且训练集中每个样本都标 注出关键点位置； 步骤2、 构建编码 ‑解码结构的 关键点识别模型； 步骤3、 关键点识别模 型训练及 评估； 步骤4、 对新的头颅侧位片进行关键点预 测。 本发明构建了一个深度监督的编码 ‑解码网 络用于头颅侧位片的关键点识别。 编码和解码的 子模块通过一系列嵌套的密集跳跃路径进行相 互连接， 设计这种跳跃连接的目的是为了降低编 码和解码 子模块中各个特征图的语义缺失。 进一 步的， 本发 明提出的方法可以加快进行头颅侧位 片的关键点标注。 权利要求书2页 说明书5页 附图3页 CN 114820517 A 2022.07.29 CN 114820517 A 1.基于深度学习的头颅侧位片关键点自动检测方法， 其特 征在于包括如下步骤： 步骤1、 头颅侧位片CT图像的收集和预处理； 构造模型训练的,且训练集中每个样本都 标注出关键点 位置； 步骤2、 构建编码 ‑解码结构的关键点识别模型； 步骤3、 关键点识别模型训练及评估； 步骤4、 对新的头颅侧位片进行关键点预测。 2.根据权利要求1所述的基于深度学习的头颅侧位片关键点自动检测方法， 其特征在 于步骤1所述的头颅侧位CT图像的收集和预处 理具体实现如下 1‑1.收集到 的原始头颅侧位CT图像数据集由670位患者的头颅侧位CT图像组成， 且每 位患者CT数据的大小是不固定的png格式或bmp格式的图像； 1‑2.通过Vott软件对原始头颅侧位CT图像数据集进行标注， 得到学习关键点识别模型 的训练数据集； 同时为了兼并多种头颅关键点角度测 量的方法， 将关键点的类别数定义为 32类， 标签文件保存为CSV格式文件； 1‑3.将标注软件Vott标注后得到的CSV格式文件转化为txt文件， 每个txt文件对应一 个患者的标注信息， 该标注信息共32行， 从上到下对应标签1 ‑32的关键点的坐标(X,Y)； 将 标注后的头颅侧位片CT图像对应的标签作为关键点识别模型最终的训练集。 3.根据权利要求2所述的基于深度学习的头颅侧位片关键点自动检测方法， 其特征在 于定义的32类别的关键点具体包括： 蝶鞍点、 鼻根点、 眶点、 耳点、 上齿槽坐点、 下齿槽坐点、 颏前点、 颏下点、 颏顶点、 下颌角点、 下颌中切牙切缘点、 上颌中切牙切缘点、 上唇突点、 下唇 突点、 鼻下点、 软组织之颏前点、 后鼻棘、 前鼻棘、 关节点、 颅顶点、 髁突中心点、 翼点、 鼻顶 点、 颞下颌关节最低点、 内下颌角点、 上中切牙 根尖点、 上第一恒磨牙近中颊尖点、 下第一恒 磨牙近中颊尖点、 下第一恒磨牙园中边缘点、 下中切牙根尖点、 下颌升支后缘、 下颌角后下 缘。 4.根据权利要求2或3所述的基于深度 学习的头颅侧位片关键点自动检测方法， 其特征 在于步骤2所述的构建编码 ‑解码结构的关键点识别模型， 具体实现如下： 提出一种新的编码 ‑解码U形结构网络的关键点识别模型， 该关键点识别模型充分利用 多尺度特征， 引入全尺度的跳跃连接， 将编码器和解码器的不同子模块通过嵌套和跳跃连 接在一起， 该结构能有效的结合来自全尺度特征图的低级语义和高级语义， 该关键点识别 模型能够有效的学习关键点的深层特 征。 5.根据权利要求2或3所述的基于深度 学习的头颅侧位片关键点自动检测方法， 其特征 在于关键点识别模型中每个矩形表示一个密集卷积块， 通过跳跃连接实现编码器和解码 器 特征图之间的语义鸿沟。 6.根据权利要求2或3所述的基于深度 学习的头颅侧位片关键点自动检测方法， 其特征 在于每个密集卷积块Xi,j采用VGGBlock的卷积结构， 即密集卷积块中的每个卷积后面都进 行BN处理以及使用ReLU激活函数。 7.根据权利要求6所述的基于深度学习的头颅侧位片关键点自动检测方法， 其特征在 于用fi,j表示密集卷积块Xi,j的输出， 其中i表示编码器下采样的索引， j表示沿着跳跃路径 上的密集卷积块的索引， fi,j的计算为：权　利　要　求　书 1/2 页 2 CN 114820517 A 2其中C(·)表示卷积运算， [ ]表示直接在通道维度上的连接； 当j＝0时， 表示只接收来 自前一层编码器的输出， 密集卷积块Xi,j的密集卷积块有i +2个输入， 其中i +1个输入来自 同 级以及以上 的编码器输出， 另一个来自下一级的解码器的输出； 同级及以上解码器的输入 采用skip connection连接。 8.根据权利要求6所述的基于深度学习的头颅侧位片关键点自动检测方法， 其特征在 于由于跳跃路径的存在， 模型在多个语义层次上生成全分辨率特征， 用二分类交叉熵损失 和Dice系数损失的组合作为模型的目标函数： 其中， Yb和 分别表示头颅侧位CT图像的预测关键点和标记关键点,N是批次训练的大 小， 本发明设置N ＝8。 9.基于深度学习的头颅侧位片关键点自动检测系统， 其特征在于包括训练集构造模 块、 关键点识别模型构建模块、 模型训练及评估 模块； 训练集构造模块： 对头颅侧位片CT图像的收集和预处理得到初步训练集， 对初步训练 集中每个样本都标注出关键点 位置， 得到最终训练集； 关键点识别模型构建模块： 构建一种新的编码 ‑解码U形结构网络的关键点识别模型， 该关键点识别模型充分利用多尺度特征， 引入全尺度的跳跃连接， 将编码器和解码器的不 同子模块通过嵌套和跳跃连接在一起； 关键点识别模型中每个矩形表示一个密集卷积块， 通过跳跃连接实现编码器和解码器特征图之间的语义鸿沟； 每个密集卷积块Xi,j采用 VGGBlock的卷积结构； 模型训练及评估 模块： 通过度量标准Dice系数和交并比进行评估。权　利　要　求　书 2/2 页 3 CN 114820517 A 3