(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210646307.3 (22)申请日 2022.06.08 (71)申请人 北京数联 众创科技有限公司 地址 100081 北京市海淀区温泉镇创客小 镇社区配套 商业楼16 #楼二层23 0室 (72)发明人 杨启周　崔维福　 (51)Int.Cl. G06F 9/455(2006.01) G06F 9/48(2006.01) G06F 16/28(2019.01) H04L 9/32(2006.01) (54)发明名称 一种基于计算机算法竞赛模型评测的装置 及方法 (57)摘要 本发明属于计算机算法模型自动评测技术 领域， 公开了一种基于计算机算法竞赛模型评测 的装置及方法， 输入信息至算法模型接收器， 模 型接收器提交模型， 并指定赛题， 同时将用户信 息发送至模型调度器； 配置数据集和评测程序； 模型调度器将 模型信息和关联的评测程序、 数据 集自动调度到同一个执行环境中， 利用模型执行 器完成计算机算法的评测， 并输出结果。 本发明 提供了一种能够黑盒评测的装置和方法， 通过算 法模型接收器、 模型调度器和模 型执行器来完成 计算机算法评测。 同时， 本发明在算法竞赛过程 中， 有效的规避原始数据泄漏和篡改的风险， 数 据安全是数据流通的基础， 这样才会有更多的数 据对社会以竞赛的形式开放， 保证大赛的公平、 公正。 权利要求书2页 说明书6页 附图2页 CN 115033346 A 2022.09.09 CN 115033346 A 1.一种基于计算机算法竞赛模型评测的装置， 其特征在于， 所述基于计算机算法竞赛 模型评测的装置包括： 模型接收器， 用于对外暴露统一接收模 型的接口， 并将接收到的数据 放置到缓存队列中， 作为任务； 模型调度器， 用于收集赛题评测所需要的元素、 解析队列中任务 区分赛题标识、 关联赛 题的元素和任务； 模型执行器， 用于接收模型调度器传输的元素和任务信 息， 创建容器执行环境， 隔绝存 储、 网络和进程， 最后计算输出 结果。 2.如权利要求1所述的基于计算机算法竞赛模型评测的装置， 其特征在于， 所述模型调 度器中的元 素包括数据集和评测程序。 3.一种应用如权利要求1～2任意一项所述的基于计算机算法竞赛模型评测的装置的 基于计算机算法竞赛模型评测的方法， 其特征在于， 所述基于计算机算法竞赛模型评测的 方法包括： 输入信息至算法模型接 收器， 模型接收器提交模型， 并指定赛题， 同时将用户信 息发送至模型调 度器； 配置数据集和评测程序； 模 型调度器将模型信息和关联的评测程序、 数据集自动调度到同一个执行环境中， 利用模型执行器完成计算机算法的评测， 并输出结 果。 4.如权利要求3所述的基于计算机算法竞赛模型评测的方法， 其特征在于， 首先需要配 置算法模 型接收器鉴权算法， 对接口的安全访问 防护， 校验规则是根据提交ID、 用户ID和秘 钥信息根据一定规则进行排序， 然后生成md5串进行校验； 再者配置模型接收队列， 将从外 部接收到的算法模型放置到缓存队列中(RabbitMQ)， 等待模型调度器分配资源。 在模型调 度器上配置环境信息， 采用MySQL数据库存储赛题ID、 评测环境镜像、 CPU、 MEM和超时时间、 数据集、 评测算法等， 然后从缓存队列中读取任务， 将环境信息和任务进行绑定， 组合成完 整的评测环境， 等待模型执行器执行； 最后模型执行器使用Docker对完成的评测环境信息 生成容器， 隔离存 储、 网络和进程空间， 自动执 行评测输出成绩。 5.如权利要求3所述的基于计算机算法竞赛模型评测的方法， 其特征在于， 所述基于计 算机算法竞 赛模型评测的方法进一 步包括以下步骤： 步骤一， 当参赛者提交信 息时， 提交信 息将传输到模型接收器中， 并对接口信 息进行验 证； 步骤二， 在模型调度器上配置好赛题所需要的评测算法和数据集， 模型调度器轮训从 队列中读取任务； 步骤三， 模型执行器接收到提交模型和关联的赛题元素， 通过容器化技术创建Docker 容器， 并以可读的方式挂载赛题元 素和提交模型， 分布执 行模型。 6.如权利要求5所述的基于计算机算法竞赛模型评测的方法， 其特征在于， 所述步骤一 中的当参 赛者提交信息时， 提交信息将传输 到模型接收器中， 并对接口信息进行验证包括： (1)如果接口信息验证成功， 符合签名和接口要求参数类型， 则将所述信息包装成任务 放到缓存队列中； (2)如果接口信息委校验成功， 则返回失败， 不进行 校验。 7.如权利要求5所述的基于计算机算法竞赛模型评测的方法， 其特征在于， 所述步骤二 中的在模型调度器上配置好赛题所需要的评测算法和数据集， 模型调 度器轮训从队列中读 取任务包括：权　利　要　求　书 1/2 页 2 CN 115033346 A 2(1)当读到新的任务时将任务 解析获得赛题标识， 和配置好的赛题元 素进行关联； (2)如果读到的赛题标识， 未进行配置， 则会丢弃任务。 8.如权利要求5所述的基于计算机算法竞赛模型评测的方法， 其特征在于， 所述步骤三 中的模型执行器接收到提交模型和关联的赛题元素， 通过容器化技术创建Docker容器， 并 以可读的方式挂载赛题元 素和提交模型， 分布执 行模型包括： (1)执行模型的推理过程， 运行模型产生结果 集； (2)执行评测脚本， 计算分数。 9.一种计算机可读存储介质， 存储有计算机程序， 所述计算机程序被处理器执行时， 使 得所述处理器执行如下步骤： 输入信息至算法模型接收器， 模型接收器提交模型， 并指定赛题， 同时将用户信 息发送 至模型调 度器； 配置数据集和评测程序； 模型调度器将模型信息和关联的评测程序、 数据集 自动调度到同一个执 行环境中， 利用模型 执行器完成计算机算法的评测， 并输出 结果。 10.一种信息数据处理终端， 其特征在于， 所述信息数据处理终端用于实现如权利要求 1～2任意一项所述的基于计算机算法竞 赛模型评测的装置 。权　利　要　求　书 2/2 页 3 CN 115033346 A 3