(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210652919.3 (22)申请日 2022.06.08 (71)申请人 智慧互通科技股份有限公司 地址 075000 河北省张家口市空港经济技 术开发区一期十号楼 (72)发明人 闫军　丁丽珠　王艳清　 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/54(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/26(2022.01) G06T 7/73(2017.01) (54)发明名称 基于智能路口 的斑马线检测方法以及系统 (57)摘要 本申请公开一种基于智能路口的斑马线检 测方法以及系统。 方法包括获取斑马线图像数据 集； 将多个含有真实像素类别标注的斑马线图像 输入至斑马线检测模型的特征提取网络进行特 征提取， 输出多个第一斑马线特征图； 将多个第 一斑马线特征图分别并行输入至斑马线检测模 型的空间注意力网络与通道注意力网络进行特 征提取融合， 输出多个第二斑马线特征图； 将多 个第二斑马线特征图输入至斑马线检测模型的 上采样网络进行图像尺寸恢复， 输出每个像素对 应的预测像素类别； 根据真实像素类别与预测像 素类别构建损失函数， 并根据损失函数对斑马线 检测模型进行模 型训练与优化， 获得训练完成的 斑马线检测模 型， 对待测斑马线图像中斑马线的 位置进行检测。 权利要求书4页 说明书13页 附图2页 CN 115115915 A 2022.09.27 CN 115115915 A 1.一种基于智能路口 的斑马线检测方法， 其特 征在于， 包括： 获取斑马线图像数据集， 所述斑马线图像数据集包括多个含有真实像素类别标注的斑 马线图像； 将所述多个含有真实像素类别标注的斑马线图像输入至斑马线检测模型的特征提取 网络进行 特征提取， 输出多个第一斑马线特 征图； 将所述多个第一斑马线特征图分别并行输入至所述斑马线检测模型的空间注意力网 络与通道 注意力网络进行 特征提取融合， 输出多个第二斑马线特 征图； 将所述多个第二斑马线特征图输入至所述斑马线检测模型的上采样网络进行图像尺 寸恢复， 输出每 个像素对应的预测像素类别； 根据所述真实像素类别与 所述预测像素类别构建损失函数， 并根据所述损失函数对所 述斑马线检测模型进行模型训练与优化， 获得训练完成的斑马线检测模型； 根据所述训练完成的斑马线检测模型， 对待测斑马线图像中斑马线的位置进行检测。 2.根据权利要求1所述的基于智能路口的斑马线检测方法， 其特征在于， 所述获取斑马 线图像数据集， 所述斑马线图像数据集包括多个含有真实像素类别标注的斑马线图像， 包 括： 获取含有斑马线的第 一图像数据集， 并对所述第 一图像数据集进行逐像素语义分割标 注， 获得第一斑马线图像数据集； 获取含有斑马线的第 二图像数据集， 所述第 二图像数据集与 所述第一图像数据集为不 同场景下获取的图像数据集； 根据所述第一图像数据集与所述第二图像数据集， 对循环生成对抗网络进行模型训 练， 获得训练完成的循环生成对抗网络； 将所述第一斑马线图像数据集输入至所述训练完成的循环生成对抗网络， 输出模拟不 同场景下的第二斑马线图像数据集； 根据所述第 一斑马线图像数据集与 所述第二斑马线图像数据集， 获得所述斑马线图像 数据集。 3.根据权利要求1所述的基于智能路口的斑马线检测方法， 其特征在于， 所述将所述多 个含有真实像素类别标注的斑马线图像输入至斑马线检测模型的特征提取网络进行特征 提取， 输出多个第一斑马线特 征图， 包括： 根据所述特征提取网络的池化层， 对所述多个含有真实像素类别标注的斑马线图像进 行特征提取， 获得第一特 征图集； 根据所述特征提取网络的第一全卷积层、 第二全卷积层、 第三全卷积层以及第 四全卷 积层， 对所述第一特 征图集进行 特征提取， 获得 所述多个第一斑马线特 征图； 其中， 所述第 一全卷积层、 所述第 二全卷积层、 所述第 三全卷积层以及所述第四全卷积 层的输出通道数比例为1:2:4: 8。 4.根据权利要求1所述的基于智能路口的斑马线检测方法， 其特征在于， 所述将所述多 个第一斑马线特征图分别并行输入至所述斑马线检测模型的空间注意力网络与通道注意 力网络进行 特征提取融合， 输出多个第二斑马线特 征图， 包括： 将每个所述第 一斑马线特征图输入至横向维度空间注意力网络， 对所述第 一斑马线特 征图进行平均池化与纵向复制式扩容， 获得横向注意力参数 特征图；权　利　要　求　书 1/4 页 2 CN 115115915 A 2将每个所述第 一斑马线特征图输入至纵向维度空间注意力网络， 对所述第 一斑马线特 征图进行平均池化与横向复制式扩容， 获得纵向注意力参数 特征图； 将所述横向注意力参数特征图与 所述纵向注意力参数特征图进行逐像素相加， 获得空 间注意力参数 特征图； 将所述空间注意力参数特征图输入至归一化层， 对空间注意力参数进行归一化， 获得 归一化空间注意力参数； 将所述归一化空间注意力参数与 所述第一斑马线特征图进行逐像素相乘， 获得空间注 意力加权特 征图。 5.根据权利要求4所述的基于智能路口的斑马线检测方法， 其特征在于， 所述将所述多 个第一斑马线特征图分别并行输入至所述斑马线检测模型的空间注意力网络与通道注意 力网络进行 特征提取融合， 输出多个第二斑马线特 征图， 还包括： 将每个所述第 一斑马线特征图分别 输入至两个相同的卷积层， 输出第 一特征图与第 二 特征图； 对所述第一特征图与 所述第二特征图分别进行特征图重塑， 获得第 一重塑特征图与第 二重塑特 征图； 对所述第二重塑特 征图进行 特征转置， 获得第二 转置特征图； 将所述第一重塑特征图与所述第二转置特征图进行矩阵相乘运算， 获得通道特征图， 并对所述 通道特征图进行 特征图参数归一 化， 获得通道维度注意力特 征图； 对所述第一斑马线特 征图进行 特征图重塑， 获得第一斑马线重塑特 征图； 将所述通道维度注意力特征图与 所述第一斑马线重塑特征图进行矩阵相乘运算， 获得 重加权特 征图， 并对所述重加权特 征图进行 特征图重塑， 获得通道 注意力加权特 征图； 将每个所述第一斑马线特征图对应的所述空间注意力加权特征图与所述通道注意力 加权特征图进行 逐像素相加， 获得 所述多个第二斑马线特 征图。 6.根据权利要求1所述的基于智能路口的斑马线检测方法， 其特征在于， 所述将所述多 个第二斑马线 特征图输入至所述斑马线检测模 型的上采样网络进 行图像尺寸恢复， 输出每 个像素对应的预测像素类别， 包括： 将每个所述第 二斑马线特征图输入至上采样网络的5个反卷积层进行图像尺寸恢 复至 原始所述斑马线图像的图像尺寸， 获得多个原 始图像尺寸的第二斑马线特 征图； 根据每个所述原始图像尺寸的第二斑马线特征图， 获得每个像素对应的预测像素类 别。 7.一种基于智能路口 的斑马线检测系统， 其特 征在于， 包括： 图像数据获取模块， 用于获取斑马线图像数据集， 所述斑马线图像数据集包括多个含 有真实像素类别标注的斑马线图像； 特征提取网络模块， 用于将所述多个含有真实像素类别标注的斑马线图像输入至斑马 线检测模型的特 征提取网络进行 特征提取， 输出多个第一斑马线特 征图； 注意力网络模块， 用于将所述多个第 一斑马线特征图分别并行输入至所述斑马线检测 模型的空间注意力网络与通道注意力网络进行特征提取融合， 输出多个第二斑马线特征 图； 上采样模块， 用于将所述多个第 二斑马线特征图输入至所述斑马线检测模型的上采样权　利　要　求　书 2/4 页 3 CN 115115915 A 3