(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221024826 3.9 (22)申请日 2022.03.14 (71)申请人 广东技术师范大学 地址 510630 广东省广州市天河区石牌中 山大道西2 93号 (72)发明人 廖丽平　朱柯　蔡君　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 专利代理师 赵永强 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/04(2012.01) (54)发明名称 工艺自动决策和推理方法、 装置、 计算机设 备及存储介质 (57)摘要 本申请属于深度学习领域， 涉及一种工艺自 动决策和推理方法、 装置、 计算机设备及存储介 质， 方法包括步骤： 构造零件生产工艺知识库模 型； 构建零件信息、 工艺知识和设备信息三级信 息模型， 整合生产数据并构建工艺时序知识图 谱； 从工艺时序知识图谱中提取工艺知识特征； 基于工艺知识特征， 结合自动 决策模型， 对生产 任务进行拆分， 并提取子任务的空间特征， 检索 零件生产工艺知识库中符合空间特征及时序要 求的工艺知识进行工艺决策； 采用部分可观测马 尔科夫决策过程算法， 将工艺时序知识图谱定义 为环境， 进行工艺推理。 对未知的生产工艺进行 推理， 得到其推理路径后经人工校验， 进而更新 到工艺时序知识图谱， 使工艺知识更加完 善。 权利要求书2页 说明书15页 附图8页 CN 114647741 A 2022.06.21 CN 114647741 A 1.一种工艺自动决策和推理方法， 其特 征在于， 包括下述 步骤： 构造工艺自动决策和推理相结合的零件生产工艺知识库模型； 构建零件信息、 工艺知识和设备信息三级信息模型， 整合生产数据并构建工艺时序知 识图谱； 采用卷积神经网络 CNN算法， 从所述工艺时序知识图谱中提取工艺知识特 征； 基于所述工艺知识特征， 结合自动决策模型， 对生产任务进行拆分， 并提取子任务的空 间特征， 检索所述零件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进 行工 艺决策； 采用部分可观测马尔科夫决策过程算法， 将所述工艺时序知识图谱定义为环境， 通过 策略网络与环境交 互， 学习历史工艺路径信息， 结合奖励函数， 进行工艺推理。 2.根据权利要求1所述的工艺自动决策和推理方法， 其特征在于， 所述构造工艺自动决 策和推理相结合的零件生产工艺知识库模型的步骤具体包括： 根据实际生产过程数据， 构建生产工艺时序知识图谱； 构造工艺自动决策模型， 采用CNN算法提取工艺 时序知识图谱四元组的空间特征， 结合 工艺自动决策模型， 进行零件生产工艺自动决策； 构造工艺推理模型， 采用POMD P算法进行工艺推理并通过 人工校验动态更新工艺知识。 3.根据权利要求1所述的工艺自动决策和推理方法， 其特征在于， 所述构建零件信息、 工艺知识和设备信息三级信息模型， 整合工艺知识 生产数据并构建工艺时序知识图谱的步 骤具体包括： 通过自然语言识别、 词性标注和人工 干预对零件生产工艺数据进行 预处理； 采用STEP ‑NC对工艺知识进行分类， 构建工艺时序知识图谱 模式层； 构建零件信息、 工艺知识和设备信息三级信息； 对实时生产数据、 工艺文档和历史数据， 进行命名实体识别以及 关系提取， 获取零件生 产工艺知识； 结合工艺时序知识图谱模式层及所获取的零件生产工艺知识， 构建工艺时序知识图 谱。 4.根据权利要求1所述的工艺自动决策和推理方法， 其特征在于， 所述采用卷积神经网 络CNN算法， 从所述工艺知识工艺时序知识图谱中提取工艺知识特征的步骤具体包括： 将工 艺时序知识图谱中的实体和关系通过词嵌入得到向量表示； 通过CNN算法提取工艺知识四元组的嵌入表示的空间特 征。 5.根据权利要求1所述的工艺自动决策和推理方法， 其特征在于， 所述基于所述工艺知 识特征， 结合自动决策模型， 对生产任务进行拆分， 并提取子任务的空间特征， 检索所述零 件生产工艺知识库中符合所述空间特征及时序要求的工艺知识进行工艺决策的步骤具体 包括： 通过命名实体识别提取生产任务中的任务实体， 将任务拆分成若干个子任务； 获取工艺时序知识图谱中的零件信息模型， 检索零件特 征及属性嵌入； 获取目标零件信息节点， 通过Neo4j数据库检索对应零件生产工艺和设备信息并验证 时序一致性。 6.根据权利要求1至5任意一项所述的工艺自动决策和推理方法， 其特征在于， 所述采权　利　要　求　书 1/2 页 2 CN 114647741 A 2用部分可观测马尔科夫决策过程算法， 将构建的工艺时序知识图谱定义为环境， 通过策略 网络与环境交 互， 学习历史工艺路径信息， 结合奖励函数， 进行工艺推理的步骤具体包括： 利用强化学习框架对工艺推理过程进行建模； 将工艺时序知识图谱定义为一个五元组(S， O， A， P， R)其中， S表示状态， O表示观测值， A 表示动作， P表示 转移概率， R表示奖励； 将奖励函数分为全局奖励和路径奖励， 降低全局奖励， 提高智能体探索新关系的可能 性； 智能体采用长短期记 忆网络将路径历史信息编码为连续向量； 采用蒙特卡洛策略梯度最大化累积奖励； 采用近似梯度更新策略网络参数。 7.一种工艺自动决策和推理装置， 其特 征在于， 包括： 构造模块， 用于构造 工艺自动决策和推理相结合的零件生产工艺知识库模型； 整合模块， 用于构建零件信息、 工艺知识和设备信息三级信 息模型， 整合生产数据并构 建工艺时序知识图谱； 提取模块， 用于采用卷积神经网络CNN算法， 从所述工艺时序知识图谱中提取工艺知识 特征； 决策模块， 用于基于所述工艺知识特征， 结合自动决策模型， 对生产任务进行拆分， 并 提取子任务的空间特征， 检索所述零件生产工艺知识库中符合所述空间特征及时序要求的 工艺知识进行工艺决策； 推理模块， 用于采用部分可观测马尔科夫决策过程算法， 将所述工艺时序知识图谱定 义为环境， 通过策略网络与环境交互， 学习历史工艺路径信息， 结合奖励函数， 进行工艺推 理。 8.根据权利要求7所述的工艺自动决策和推理方法， 其特征在于， 所述构造模块具体包 括： 知识图谱构建模块， 用于根据实际生产过程数据， 构建生产工艺时序知识图谱； 自动决策模型构造模块， 用于构造工艺自动决策模型， 采用CNN算法提取工艺 时序知识 图谱四元组的空间特 征， 结合工艺自动决策模型， 进行零件生产工艺自动决策； 工艺推理模型构造模块， 用于构造工艺推理模型， 采用P OMDP算法进行工艺推理并通过 人工校验动态更新工艺知识。 9.一种计算机设备， 包括存储器和处理器， 所述存储器中存储有计算机可读指令， 所述 处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的工艺自动决策和 推理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 可读指令， 所述计算机可读指 令被处理器执行时实现如权利要求 1至6中任一项 所述的工艺 自动决策和推理方法的步骤。权　利　要　求　书 2/2 页 3 CN 114647741 A 3