(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221083702 9.X (22)申请日 2022.07.15 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 袁雨馨　史骁　赵晓芳　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　张燕华 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/54(2006.01) (54)发明名称 一种面向MPI的Serverless并行计算方法及 其系统 (57)摘要 本发明公开了一种面向MPI的Serverless并 行计算方法及其系统， 其中方法包括： 动态地址 映射步骤， 建立函数名与对应的网络地址之间的 映射关系， 并对Serverless并行计算平台的普 通 函数与并行函数统一编制； 计算模型构建步骤， 在该Serverless并行计算平台中构建并行函数 管理运行时环境、 并行函数地址访问机制、 并行 函数调度机制， 并通过函数副本机制实现对并行 计算模型的支持， 将函数副本集合内的各函数与 各并行计算进程建立对应关系， 以利于并行计算 进程的执行 ； 及并行计算实现步骤 ， 由该 Serverless并行计算平台实现MPI并行计算进 程。 本发明解决Serverless环境下IP寻址问题、 并行函数调用问题、 差异化并行协作执 行问题。 权利要求书4页 说明书14页 附图5页 CN 115357375 A 2022.11.18 CN 115357375 A 1.一种面向MPI的Serverles s并行计算方法， 其特 征在于， 包括： 动态地址映射步骤， 建立函数名与对应的网络地址之间的映射关系， 并对Serverless 并行计算平台的普通 函数与并行函数统一编制； 计算模型构建步骤， 在该Serverless并行计算平台中构建并行函数管理运行时环境、 并行函数地址访问机制、 并行函数调度机制， 并通过函数副本机制实现对并行计算模型 的 支持， 将函数副本集合内的各函数与各并行计算进程建立对应关系， 以利于并行计算进程 的执行； 及 并行计算实现步骤， 由该Serverles s并行计算平台实现MPI并行计算进程。 2.根据权利要求1所述的面向MPI的Serverless并行计算方法， 其特征在于， 所述动态 地址映射 步骤中， 进一 步包括： 构建地址映射表， 建立 函数名与对应的网络地址之间的映射关系； 及 构建地址映射管理器， 对地址映射表的内容进行 管理。 3.根据权利要求2所述的面向MPI的Serverless并行计算方法， 其特征在于， 所述构建 地址映射管理器步骤中， 进一 步包括： 映射关系更新步骤， 当函数副本内容发生更新时， 地址映射管理器根据函数副本更新 内容， 对地址映射表的内容进行 更新； 映射关系查询步骤， 当并行函数副本运行时环境查询函数副本的地址映射关系时， 地 址映射管理器对地址映射表的内容进行查询， 封装成特定消息格式； 映射关系同步步骤， 当地址映射表以分布式形式进行管理时， 各分布式组件对地址映 表映射的内容进行同步； 及 映射关系恢复步骤， 当地址映射表的内容丢失时， 地址映射管理器通过调用 Serverles s并行计算平台， 对地址映射表的内容进行恢复。 4.根据权利要求1所述的面向MPI的Serverless并行计算方法， 其特征在于， 所述计算 模型构建步骤， 进一 步包括： 对并行函数的管理进行封装， 支持对并行函数进行生命周期的管理操作， 并将相应操 作转换为 函数副本的管理操作； 对函数副本的地址进行标识管理， 为函数副本建立双层结构， 第一层为基于函数名的 身份标识， 第二层为基于函数地址的身份标识； 及 并行函数调度根据监控所得集群资源信息， 同并行函数的调度需求进行匹配， 在满足 各并行函数资源需求时， 最大化同一并行任务下的各并行函数的亲和性得分。 5.根据权利要求1所述的面向MPI的Serverless并行计算方法， 其特征在于， 该 Serverless并行计算平台包括客户端、 控制节 点、 计算节 点及函数仓库， 该控制节 点包括网 关、 控制器、 监控器及扩缩容管理器， 该计算节点包括执行器和容器； 所述并行计算实现步 骤， 进一步包括： MPI并行程序函数式开发步骤： (1)根据带有MPI运行时环境的Serverless模板编写MPI函数处理代码， 并对函数运行 时环境进行配置； 及 (2)提交函数进行自动化构 建， 将MPI环境一同打包为容器镜像， 并推送到步骤(1)中函 数运行时环境所配置的镜像仓库地址中， 以方便集群中任意节点下 载该镜像。权　利　要　求　书 1/4 页 2 CN 115357375 A 26.根据权利要求1所述的面向MPI的Serverless并行计算方法， 其特征在于， 该 Serverless并行计算平台包括客户端、 控制节 点、 计算节 点及函数仓库， 该控制节 点包括网 关、 控制器、 监控器及扩缩容管理器， 该计算节点包括执行器和容器； 所述并行计算实现步 骤， 进一步包括： 并行函数部署服 务步骤： (1)客户端提交部署 请求； (2)部署请求进入 控制节点网关的请求队列中进行排队； (3)控制节点网关从请求队列中取 出第一个部署 请求， 交给控制器进行调度； (4)控制器解析调度请求并查询集群上是否已部署有相同任务， 若无， 则获取监控器采 集到的集群资源信息， 并设立资源变化度和并行请求数的阈值， 并跳转至步骤(6)； 若有， 则 通知扩缩容管理器进行扩 缩容， 并转入步骤(5)； (5)若有资源不足或请求部署函数的并行度下降的情况， 扩缩容管理器向控制器发出 并行函数缩容的指令， 若有请求部署函数 的并行度上升的情况， 扩缩容管理器向控制 器发 出并行函数扩容的指令， 并转入步骤(6)； (6)控制器根据监控器采集到的集群资源信息和部署请求信息做匹配， 若需要部署函 数， 则在满足任务的每个并行函数调度给具有足够资源的计算节点时， 最大化同一任务下 的并行函数亲和性得分， 将函数分配给该组计算节点并将并分配相 应的独占资源； 若需要 关闭函数， 则按启动顺序依次关闭相应函数的容器； (7)控制器将调度后的函数信息写入地址映射表中； (8)控制器通知在该并行函数调度到的所有计算节点下载函数镜像， 各计算节点从镜 像仓库进行 下载； 及 (9)控制器在该并行函数调度到的所有计算节点上启动执行器， 由执行器创建在此节 点上运行的并行函数容器。 7.根据权利要求1所述的面向MPI的Serverless并行计算方法， 其特征在于， 该 Serverless并行计算平台包括客户端、 控制节 点、 计算节 点及函数仓库， 该控制节 点包括网 关、 控制器、 监控器及扩缩容管理器， 该计算节点包括执行器和容器； 所述并行计算实现步 骤， 进一步包括： 并行函数触发服 务步骤： (1)客户端向控制节点的网关发送调用请求； (2)网关将带有参数的请求 转发给控制器； (3)控制器从地址映射表中获取地址并转发给 该任务的各个执 行器； (4)执行器解析转发的请求参数， 并拼接形成MPI命令， 传给该任务下的所有并行函数 以调用其执 行， 同时实时监控运行的并行函数； 及 (5)当并行函数运行完成后， 执行器接收到函数正常或异常退出的信号， 并回收执行状 态与结果。 8.一种面向MPI的Serverles s并行计算系统， 其特 征在于， 包括： 动态地址映射模块， 建立函数名与对应的网络地址之间的映射关系， 并对Serverless 并行计算平台的普通 函数与并行函数统一编制； 计算模型构建模块， 在该Serverless并行计算平台中构建并行函数管理运行时环境、权　利　要　求　书 2/4 页 3 CN 115357375 A 3