(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210089504.X (22)申请日 2022.01.26 (71)申请人 大连即时智能科技有限公司 地址 116023 辽宁省大连市高新 技术产业 园区七贤岭亿阳路6号B座12层1201、 1202、 120 3、 1204室 (72)发明人 朱风云　陈博　 (51)Int.Cl. H04S 1/00(2006.01) H04S 7/00(2006.01) G06F 16/36(2019.01) G06F 16/61(2019.01) (54)发明名称 文本与音频呈现处 理方法及装置 (57)摘要 本发明公开了一种文本与音频呈现处理方 法， 包括： 脚本编辑器生成混音脚本； 音效处理器 获取混音脚本， 根据混音脚本对 段落施加音效处 理； 混音器获取混音脚本， 根据混音脚本对段落 执行混音操作得到混音结果并输出至播放器； 播 放器播放混音结果。 此外， 本发明还公开了一种 文本与音频呈现 处理装置。 采用本发 明可以实现 书籍听读一体的文本与音 频呈现， 通过混音脚本 将音频数据结构化， 并建立音频与文字之间的联 系。 权利要求书2页 说明书8页 附图1页 CN 114615612 A 2022.06.10 CN 114615612 A 1.一种文本与音频 呈现处理方法， 其特 征在于， 包括： 步骤1， 脚本编辑器生成混音脚本； 所述混音脚本包括 一个或多个段落； 步骤2， 音效处 理器获取混音脚本， 根据混音脚本对段落施加音效处 理； 步骤3， 混音器获取混音脚本， 根据混音脚本对段落执行混音操作得到混音结果并输出 至播放器； 步骤4， 所述 播放器播放混音结果。 2.根据权利要求1所述的文本与音频 呈现处理方法， 其特 征在于， 其中， 生成的所述混音脚本包括段落对应的录音素材、 音频素材、 音效处理方式、 段落 操作方式、 段落呈现顺序、 段落呈现方式； 其中， 所述段落包括文本段落、 音频段落； 所述文本段落包括所述混音脚本的正文文 本， 以及该文本段落对应配音员根据正文文本配音演绎的录音素材； 所述文本段落包括前 景文本段落、 背景文本段落； 所述音频段落包括一种或多种 音频素材及对音频素材的段落操作； 每个音频段落对应 一个音频 素材； 所述音频 素材的类型包括前 景音效、 前 景音乐、 背景音效、 背景音乐、 静音； 对音频素材的段落操作包括开始操作、 结束操作； 音频段落的类型包括前景音效、 前景 音乐、 静音、 背景音效开始、 背景音效结束、 背景音乐 开始、 背景音乐结束。 3.根据权利要求2所述的文本与音频 呈现处理方法， 其特 征在于， 其中， 所述混音器包括主轨道、 辅轨道， 所述主轨道和所述辅轨道分别用于承载不同类 型的段落； 其中， 在所述主轨道中放置前景文本段落以及音频段落类型为前景音效、 静音的音频 段落； 在所述辅轨道中放置背景文本段落以及音频段落类型为背景音效开始、 背景音效结 束、 背景音乐 开始、 背景音乐结束的音频 段落； 所述混音脚本的段落呈现顺序为播放录音素材及音频素材的顺序； 所述主轨道中的段 落之间不存在时间上 的重叠， 前一段落结束后立即播放下一段落； 所述主轨道中的文本段 落之间设置有音频素材类型为静音的音频段落； 所述辅轨道中的段落与主轨道中的段落在 时间上存在重 叠， 并且所述辅 轨道中的段落相互之间在时间上也存在重 叠； 所述辅轨道中段落播放的开始时间由混音脚本中该段落前一主轨道段落的结束时间 决定； 所述辅轨道中段落播放的结束时间由混音脚本中该段落前一个主轨道段落的结束时 间决定。 4.根据权利要求2所述的文本与音频 呈现处理方法， 其特 征在于， 其中， 所述音效处理器对音频段落施加一个或多个音效处理； 音效处理具有对应的操 作参数； 音效处 理包括整体增益、 局部增益、 淡入淡出、 均衡、 环境、 降噪、 压缩。 5.根据权利要求1 ‑4任一项所述的文本与音频 呈现处理方法， 其特 征在于， 其中， 所述混音结果包括音频文件、 混音脚本及混音脚本 中各个段落的时间戳； 所述 时 间戳包括 开始时间戳和结束时间戳； 所述时间戳用于基于语义的音频内容定位； 根据时间戳从音频时刻定位对应的文本段 落， 或者从文本段落定位对应的音频时刻。 6.一种文本与音频呈现处理装置， 其特征在于， 包括依次相互连接的脚本编 辑器、 音效权　利　要　求　书 1/2 页 2 CN 114615612 A 2处理器、 混音器、 播 放器； 所述脚本编辑器生成混音脚本； 所述混音脚本包括 一个或多个段落； 所述音效处 理器获取混音脚本， 根据混音脚本对段落施加音效处 理； 所述混音器获取混音脚本， 根据混音脚本执行混音操作得到混音结果并输出至所述播 放器； 所述播放器播放混音结果。 7.根据权利要求6所述的文本与音频 呈现处理装置， 其特 征在于， 其中， 生成的所述混音脚本包括段落对应的录音素材、 音频素材、 音效处理方式、 段落 操作方式、 段落呈现顺序、 段落呈现方式； 其中， 所述段落包括文本段落、 音频段落； 所述文本段落包括所述混音脚本的正文文 本， 以及该文本段落对应配音员根据正文文本配音演绎的录音素材； 所述文本段落包括前 景文本段落、 背景文本段落； 所述音频段落包括一种或多种 音频素材及对音频素材的段落操作； 每个音频段落对应 一个音频 素材； 所述音频 素材的类型包括前 景音效、 前 景音乐、 背景音效、 背景音乐、 静音； 对音频素材的段落操作包括开始操作、 结束操作； 音频段落的类型包括前景音效、 前景 音乐、 静音、 背景音效开始、 背景音效结束、 背景音乐 开始、 背景音乐结束。 8.根据权利要求7 所述的文本与音频 呈现处理装置， 其特 征在于， 其中， 所述混音器包括主轨道、 辅轨道， 所述主轨道和所述辅轨道分别用于承载不同类 型的段落； 其中， 在所述主轨道中放置前景文本段落以及音频段落类型为前景音效、 静音的音频 段落； 在所述辅轨道中放置背景文本段落以及音频段落类型为背景音效开始、 背景音效结 束、 背景音乐 开始、 背景音乐结束的音频 段落； 所述混音脚本的段落呈现顺序为播放录音素材及音频素材的顺序； 所述主轨道中的段 落之间不存在时间上 的重叠， 前一段落结束后立即播放下一段落； 所述主轨道中的文本段 落之间设置有音频素材类型为静音的音频段落； 所述辅轨道中的段落与主轨道中的段落在 时间上存在重 叠， 并且所述辅 轨道中的段落相互之间在时间上也存在重 叠； 所述辅轨道中段落播放的开始时间由混音脚本中该段落前一主轨道段落的结束时间 决定； 所述辅轨道中段落播放的结束时间由混音脚本中该段落前一个主轨道段落的结束时 间决定。 9.根据权利要求7 所述的文本与音频 呈现处理装置， 其特 征在于， 其中， 所述音效处理器对音频段落施加一个或多个音效处理； 音效处理具有对应的操 作参数； 音效处 理包括整体增益、 局部增益、 淡入淡出、 均衡、 环境、 降噪、 压缩。 10.根据权利要求7 ‑9任一项所述的文本与音频 呈现处理装置， 其特 征在于， 其中， 所述混音结果包括音频文件、 混音脚本及混音脚本 中各个段落的时间戳； 所述 时 间戳包括 开始时间戳和结束时间戳； 所述时间戳用于基于语义的音频内容定位； 根据时间戳从音频时刻定位对应的文本段 落， 或者从文本段落定位对应的音频时刻。权　利　要　求　书 2/2 页 3 CN 114615612 A 3