(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210455882.5 (22)申请日 2022.04.27 (71)申请人 东南大学 地址 211189 江苏省南京市江宁区东 南大 学路2号 (72)发明人 石宸璞　陈静　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 唐少群 (51)Int.Cl. A01K 5/02(2006.01) G06V 10/82(2022.01) G10L 15/22(2006.01) H04M 1/72403(2021.01) H04M 1/72415(2021.01)H04M 1/72439(2021.01) H04N 5/225(2006.01) H04N 5/232(2006.01) (54)发明名称 一种基于视觉识别的多种类宠物喂食系统 及其喂食方法 (57)摘要 本发明公开了一种基于视觉识别的多种类 宠物喂食系统及其喂食方法， 包括： 智 能投喂和 远程在线投喂两种模式： 第一种智能投喂模式， 由摄像头实时采集场景视频数据并送入神经网 络， 经视觉识别分辨宠物类型后， 依赖于本系统 的结构设计， 通过PWM控制舵机， 完成对不同宠物 的分类别投喂， 同时还会采集宠物的进食情况， 包括了进食量、 进食时间、 进食 过程视频及图片， 之后通过HTTP协议将采集到的数据上传云端， 并 转发至用户手机APP以供查看； 第二种在线投喂 模式， 用户通过手机APP远程查看喂食机实时状 态， 通过云服务转发控制指令至设备端， 控制喂 食机对不同宠物投喂。 本发明适用于家庭或宠物 店等场景的多类别宠物喂食。 权利要求书2页 说明书8页 附图2页 CN 114793929 A 2022.07.29 CN 114793929 A 1.一种基于视觉识别的多种类宠物喂食系统， 其特征在于， 所述喂食系统包括智能喂 食装置； 所述智能喂食装置包括装置本体、 摄像头模块、 音频模块、 图像检测与分类模块、 通 信模块以及控制模块； 所述装置本体包括壳体， 以及置于该壳体中的第 一储粮机构、 第二储梁机构、 对应于所 述第一储粮机构的第一食槽 机构以及对应于所述第二储粮机构的第二食槽 机构； 所述摄像头模块包括摄 像头本体以及云台； 所述音频模块包括音频播 放器以及预 先录制的第一语音指令和第二语音指令； 所述图像 检测与分类模块包括图像 检测模型和图像分类模型； 其中， 所述摄像头模块获取视频序列， 并且将该识别序列分解为图像数据传输至 图像 检测与分类模块中， 所述的图像检测模型针对得到的图像数据进行检测， 判断图像中是否 有目标宠物， 再将存在目标宠物的图像输入至图像分类模型中， 图像分类模型针对得到的 图像中目标 宠物的类别进行分类并且计数， 其中， 该目标 宠物包括第一种类和第二种类； 当某一种类的宠物数量达到预设值时， 所述控制模块生成其对应的控制信号， 该控制 信号通过打开对应的储粮机构， 实现加粮并且通过控制所述音频模块播放对应的语音指 令； 其中， 第一种类宠物， 其对应的控制信息对应于第一储粮机构和第一语音指令， 第二种 类宠物， 其对应的控制信息对应于第二储粮机构和第二语音指令 。 2.根据权利要求1所述的一种基于视觉识别的多种类宠物喂食系统， 其特征在于， 所述 喂食系统还 包括与所述智能喂食 装置进行通讯连接的远程终端以及云端； 所述的智能喂食装置还包括储存模块， 其中， 该储存模块储存所述摄像头模块获取的 视频序列， 以及具有目标 宠物的图像数据； 当某一种类的宠物数量达到预设值时， 所述控制模块生成其对应的控制信号， 该控制 信号控制所述储 存模块将具有该种类的视频序列以及图像数据传输 至云端； 所述的远程终端上配置有APP， 用户通过该APP获取云端上储存的视频序列或者图像数 据； 其中， 所述远程终端包括智能手机或者平板电脑。 3.根据权利要求2所述的一种基于视觉识别的多种类宠物喂食系统， 其特征在于， 用户 基于所述远程 终端上配置有的APP， 下发控制指 令， 该控制指 令经过所述云端发送至所述智 能喂食装置中； 所述控制模块基于该控制指令执 行如下的操作： 控制摄像头模块实时获取周围视频序列， 并将获取到的实时视频序列传输至云端中； 或者， 控制所述第一储粮机构或者第二储梁机构的开与闭， 实现其对应食槽机构的加粮； 或 者， 控制所述音频模块 播放所述第一语音指令或者第二语音指令 。 4.根据权利要求3所述的一种基于视觉识别的多种类宠物喂食系统， 其特征在于， 所述 两个食槽机构的底部均置有压力传感器， 该压力传感器 持续获取压力数据并发送至控制模 块， 当某一时刻的某一食槽机构的压力数据大于预设的值时， 控制模块发出控制指令控制 其相应的储粮机构关闭。 5.根据权利要求1 ‑4中任一所述的一种基于视觉识别的多种类宠物喂食系统， 其特征权　利　要　求　书 1/2 页 2 CN 114793929 A 2在于， 所述的第一种类宠物为狗， 所述的第二种类宠物为猫， 相应的， 所述第一储粮机构 中 储存有猫粮， 所述第二储粮机构中储 存有狗粮； 所述的第一语音指令为主人呼唤狗的指令， 所述第二语音指令为主人呼唤猫的指令 。 6.根据权利要求1 ‑4中任一所述的一种基于视觉识别的多种类宠物喂食系统， 其特征 在于， 所述的图像检测模型和所述图像分类模型均采用caffe模型， 所述图像检测模型的 caffe模型， 为针对darknet模型进行训练转化得到； 所述的图像分类模型的caffe模型， 为 针对Pytorc h模型进行训练转 化得到； 其中， 模型的训练过程在云端进行， 训练所用的数据集为网络公开数据集或者基于摄 像头模块获取的图像制成的数据集。 7.根据权利要求1 ‑4中任一所述的一种基于视觉识别的多种类宠物喂食系统， 其特征 在于， 所述通信模块包括： 配置有的HI3881网卡， 用以连接公网， 采用HTTP通讯协议进行数 据的发送与接收。 8.根据权利要求1 ‑4中任一所述的一种基于视觉识别的多种类宠物喂食系统， 其特征 在于， 所述控制模块包括： 硬件 控制板以及与之进行通讯连接的摄 像头开发板； 所述摄像头开发板用于根据某一种类的宠物数量达到预设值 时， 生成其对应的控制信 号， 并传输 至所述硬件 控制板； 所述硬件 控制板根据该控制信号以控制对应的储粮机构。 9.一种应用权利要求1中所述的一种基于视觉识别的多种类宠物喂食系统的喂食方 法， 其特征在于， 所述方法包括智能投喂方法， 其包括： 步骤S1、 通过所述摄像头模块持续获取实时视频流， 并且分解为图像数据传入所述图 像检测与分类模块中； 步骤S2、 所述的图像检测模型对传入的图像数据进行判别， 若该图像 中存在目标宠物， 则传入图像分类模型中进行宠物种类分类， 若不存在目标宠物， 则弃置该图像等待下一帧 图片的传入， 其中， 所述的目标 宠物包括： 猫和狗； 步骤S3、 当所述图像分类模型接收到具有目标宠物 的图像时， 对该图像中的目标宠物 进行分类， 并且 对分类结果进行记数； 步骤S4、 当某一种类的宠物数量达到预设值 时， 所述控制模块生成其对应的控制信号， 该控制信号通过打开对应的储粮机构， 实现加粮并且通过控制所述音频模块播放对应的语 音指令， 以及该种类的宠物视频以及图像传入至与该智能喂食装置信息通讯连接的云端； 其中， 该语音指 令为主人呼唤主 人的语音指 令， 第一储粮机构中储存有猫粮， 所述第二储粮 机构中储 存有狗粮。 10.根据权利要求9所述的一种基于视觉识别的多种类宠物喂食系统的喂食方法， 其特 征在于， 所述方法还包括远程在线投喂方法， 该方法基于与所述智能喂食装置进行通讯连 接的远程终端以及云端； 所述方法包括： 步骤S1、 用户通过所述远程终端发出观看实时视频的控制指令， 该控制指令经过所述 云端传递至所述智能喂食 装置中， 通过调用该装置的摄 像头模块， 实时查看实时场景情况； 步骤S2、 用户根据远程终端上显示的实时场景情况， 进行选择发出添加猫粮的指令或 者添加狗粮的指令， 该加 粮指令经过所述云端传递至所述智能喂食装置中， 所述控制模块 通过驱动相应的储 梁机构， 以执 行该指令。权　利　要　求　书 2/2 页 3 CN 114793929 A 3