音频提取字幕开源模型-whisper

简介: 音频提取字幕开源模型-whisper

介绍

Whisper 是一种通用的语音识别模型。它是在包含各种音频的大型数据集上训练的,也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。

地址:openai/whisper

whisper-webui

OpenAI 的 Whisper AI 模型的 HTML WebUI,可以转录和翻译音频。用户界面支持转录音频文件、麦克风音频和 YouTube 链接。

简而言之,提供了一个web版本的UI界面,可以让你通过点点点来处理自己的音频,无需使用命令行,

地址:aadnk/whisper-webui

可以做什么

B站有很多我非常喜欢的舞台剧,可是木有中文字幕,我只能望剧兴叹,谷歌也有一些实时翻译的插件,不过大多需要付费,很多也不能满足需求,直到我发现whisper这个好东西,我觉得主要妙在以下几点

  • 开源
  • 可以部署在自己电脑上,对硬件要求不是非常高
  • 安装还算便捷,处理速度可以接受

我该如何使用

我不打算再另外写一篇安装教程,不过可以提供两个写的比较好的教程,因为whisper是基于python安装使用的,所以python是必须的,从我的安装经验来看,直接安装出问题的概率较大,推荐使用Anaconda创建一个环境来安装,可以参考以下两篇文章:

Windows本地配置OpenAI Whisper+WebUI

如何在你的电脑上完成whisper的简单部署

获取字幕之后

whisper可以获取到字幕,其实它也支持直接翻译成英文,但是对咱们来说,最终还是需要中文字幕,可以手动翻译,也可以通过一些工具来达到:

nikse.dk

可以通过上面的网站将得到的字幕翻译成中文。

效果

经过我的测试,我的电脑装的是非常老的显卡,GTX960,但是能带动,2个小时大概120分钟的视频,日语的,大概要处理半个多小时,还可以接受,翻译效果来说,从视频到最终得到中文字幕,60%吧大概。

目录
相关文章
|
存储 移动开发 算法
语音识别(ASR)--语音转文字
音识别(Automatic Speech Recognition) 是以语音为研究对象,通过语音信号处理和模式识别让机器自动识别和理解人类口述的语。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门涉及面很广的交叉学科,它与声学、语音学、语言学、信息理论、模式识别理论以及神经生物学等学科都有非常密切的关系。
2145 0
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
Baichuan-Omni-1.5:百川智能开源全模态理解与生成模型,支持文本、图像、音频和视频的多模态输入和输出
Baichuan-Omni-1.5 是百川智能开源的全模态理解模型,支持文本、图像、音频和视频的多模态输入和输出,显著提升多模态交互体验。
98 22
Baichuan-Omni-1.5:百川智能开源全模态理解与生成模型,支持文本、图像、音频和视频的多模态输入和输出
|
17天前
|
人工智能 自然语言处理 并行计算
Kokoro-TTS:超轻量级文本转语音模型,支持生成多种语言和多种语音风格
Kokoro-TTS 是一款轻量级文本转语音模型,支持多语言和多语音风格生成,具备实时处理能力和低资源占用,适用于多种应用场景。
142 5
Kokoro-TTS:超轻量级文本转语音模型,支持生成多种语言和多种语音风格
|
2月前
|
存储 人工智能 文字识别
Megrez-3B-Omni:无问芯穹开源最强端侧全模态模型,支持理解图像、音频和文本三种模态数据
Megrez-3B-Omni 是无问芯穹开源的端侧全模态理解模型,支持图像、音频和文本三种模态数据的处理,具备高精度和高推理速度,适用于多种应用场景。
116 19
Megrez-3B-Omni:无问芯穹开源最强端侧全模态模型,支持理解图像、音频和文本三种模态数据
|
2月前
|
机器学习/深度学习 API 语音技术
鸿蒙开发:文本合成语音
在鸿蒙当中,如何实现根据指定的文本进行合成语音合成播放呢,其实也是非常的简单,因为鸿蒙当中也有textToSpeech。
|
5月前
|
C++
moviepy 提取音频
moviepy 提取音频
|
6月前
|
搜索推荐 算法 Linux
这款文本转语音(TTS)
【8月更文挑战第6天】Fish Speech是一款先进的开源文本转语音(TTS)工具,它能迅速将文字转换为流畅自然的语音,尤其适合镜头前感到紧张的人制作视频内容。Fish Speech支持中文、英文及日文等多种语言,可通过简单的原始语音样本快速克隆个性化声音。其架构设计高效,仅需4GB显存即可运行,采用Flash-Attn算法实现高性能语音合成。Fish Speech具备易用性,提供Web界面操作,并可在Linux与Windows系统上部署。用户可通过官网([https://fish.audio/zh-CN/](https://fish.audio/zh-CN/))直接体验其强大功能。
538 0
|
8月前
|
Java
java实现视频和配音音频的合成
java实现视频和配音音频的合成
146 0
|
机器人 语音技术
神器 | 文本转语音,直接可以合成多人多风格音频了!
为了适应更多的音频使用场景和需求,近期我们将文本转语音服务进行了升级,全新的功能将成为你配音工具的不二之选。
506 1
|
9月前
|
人工智能 编解码 自然语言处理
离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope
制作双语字幕的方案网上有很多,林林总总,不一而足。制作双语字幕的原理也极其简单,无非就是人声背景音分离、语音转文字、文字翻译,最后就是字幕文件的合并,但美中不足之处这些环节中需要接口api的参与,比如翻译字幕,那么有没有一种彻底离线的解决方案?让普通人也能一键制作双语字幕,成就一个人的字幕组?
离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope