(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211035779.1 (22)申请日 2022.08.26 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 罗心　李冬伟　江文龙　周明伟　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 严翠霞 (51)Int.Cl. G06F 16/13(2019.01) G06F 16/14(2019.01) G06F 16/172(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种海量小文件读写方法、 系统、 电子设备 及存储介质 (57)摘要 本发明公开了一种海量小文件读写 方法、 系 统、 电子设备及存储介质， 其中， 该方法包括： 获 取小文件； 基于所述小文件确定待合并文件列 表； 根据所述待合并文件列表将所述小文件的数 据信息缓存至聚合文件； 其中， 所述聚合文件是 以大文件形式在云存储系统中创建的云存储文 件； 基于所述聚合文件设置键值对， 并将所述键 值对缓存至外挂存储系统； 基于所述键值对读取 并下载所述小文件。 通过上述方案， 在获取小文 件后， 将小文件以大文件的形式进行存储， 并在 外挂存储系统中设定相应的键值对， 依据键值对 进行小文件的读写， 可实现海量小文件快速读 写， 提升海量小 文件读写效率。 权利要求书2页 说明书11页 附图5页 CN 115481086 A 2022.12.16 CN 115481086 A 1.一种海量小文件读写方法， 其特征在于， 所述方法应用于基于Fuse的分布式云存储 系统， 其中， 所述基于Fuse的分布式云存储系统至少包括分布式云存储系统、 外挂存储系 统； 所述方法包括： 获取小文件； 基于所述小 文件确定待合并文件列表； 根据所述待合并文件列表将所述小文件的数据信息缓存至聚合文件； 其中， 所述聚合 文件是以大文件形式在云存 储系统中创建的云存 储文件； 基于所述聚合文件设置 键值对， 并将所述键值对缓存至 外挂存储系统； 基于所述键值对读取并下 载所述小文件。 2.根据权利要求1所述的方法， 其特 征在于， 所述根据所述待合并文件列表将所述小 文件的数据信息缓存至聚合文件， 包括： 检索所述待合并文件列表， 将检索获取的小 文件缓存至第一缓存容器中； 以大文件形式在所述云存 储系统中创建聚合文件； 将所述第一缓存容器中小 文件的数据信息缓存至聚合文件。 3.根据权利要求2所述的方法， 其特 征在于， 所述将所述第一缓存容器中的所述小 文件的数据信息缓存至聚合文件， 包括： 若所述第一缓存容器中的所述小文件的数据信 息成功写入聚合文件， 则在第 二缓存容 器中缓存该小 文件对应的小 文件名； 若所述第一缓存容器中的所述小文件的数据信 息没有写入聚合文件， 则在第 三缓存容 器中缓存该小 文件对应的小 文件名。 4.根据权利要求3所述的方法， 其特 征在于， 在完成聚合文件的缓存后， 还包括： 根据第二缓存容器的缓存信息删除所述待合并文 件列表及其对应的元 数据信息 。 5.根据权利要求2所述的方法， 其特 征在于， 在将所述第一缓存容器中的所述小 文件的数据信息缓存至聚合文件后， 还 包括： 当聚合文件的大小达 到预设阈值时， 关闭该聚合文件； 在所述云存储系统中以大文件形式新建聚合文件并以所述新建聚合文件缓存剩余的 所述小文件的数据信息 。 6.根据权利要求1所述的方法， 其特 征在于， 所述基于所述聚合文件设置 键值对， 并将所述键值对缓存至 外挂存储系统， 包括： 将聚合文件的存储目录设置为Key值， 以及将聚合文件中的小文件索引信息设置为 Value值； 将所述Key值和所述Value值缓存至 外挂存储系统中。 7.根据权利要求6所述的方法， 其特 征在于， 所述基于所述键值对读取并下 载所述小文件， 包括： 响应于用户检索请求， 检索数据库获取对应的数据库文件列表以及依据所述Key值检 索外挂存 储系统获取对应的小 文件列表； 将所述数据库文件列表和所述小 文件列表整合并去除聚合文件后返回用户； 用户基于所述Value值从云存 储系统中读取小 文件的数据信息 。权　利　要　求　书 1/2 页 2 CN 115481086 A 28.根据权利要求1所述的方法， 其特 征在于， 当需要删除缓存的小 文件时， 所述方法还 包括： 获取删除文件在聚合文件中的占比； 若所述占比达到占比阈值 时， 对所述 聚合文件中未删除的小文件重新生成新的聚合文 件， 并删除原聚合文件。 9.根据权利要求8所述的方法， 其特 征在于， 所述若所述占比达到占比阈值 时， 对所述 聚合文件中未删除的小文件重新生成新的聚 合文件， 并删除原聚合文件， 包括： 获取删除文件累积的所述占比； 若所述占比达到占比阈值， 则检索外挂存储系统获取原聚合文件中未被删除的小文 件， 并以此生成聚合子文件； 删除原聚合文件。 10.根据权利要求1所述的方法， 其特 征在于， 所述获取小 文件， 包括： 将写入文件以大文件形式缓存至云存 储系统； 获取所述写入文件大小； 若所述写入文件小于预设的文件大小阈值， 则记为小 文件。 11.根据权利要求1所述的方法， 其特 征在于， 所述基于所述小 文件确定待合并文件列表， 包括： 获取小文件对应的小 文件名； 基于所述小 文件名确定待合并文件列表。 12.一种海量小 文件读写系统， 其特 征在于， 所述系统包括： 获取模块， 用于获取小 文件； 确定模块， 基于所述小 文件确定待合并文件列表； 第一缓存模块， 用于根据所述待合并文件列表将所述小文件的数据信 息缓存至聚合文 件； 其中， 所述聚合文件是以大文件形式在云存 储系统中创建的云存 储文件； 第二缓存 模块， 基于所述聚合文件设置 键值对， 并将所述键值对缓存至 外挂存储系统； 读取模块， 基于所述键值对读取并下 载所述小文件。 13.一种电子设备， 其特 征在于， 所述电子设备包括： 存储器以及与所述存储器耦接的处理器， 所述存储器存储有至少一计算机程序， 所述 至少一计算机程序被所述处理器加载并执行时， 用于实现权利要求1 ‑11任一项所述的方 法。 14.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有至少一段 程序， 所述至少一段程序被处理器加载并执行时， 用于实现权利要求1 ‑11任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115481086 A 3