跳到主要内容

语音服务

Elftia 集成了语音识别(ASR,Automatic Speech Recognition)和语音合成(TTS,Text-to-Speech)两类语音服务,让你在对话和内容创作中自由切换语音和文字形式。

使用场景​

  • 将语音消息或录音文件自动转录为文字
  • 将 AI 的回复或自定义文本转换为语音播放
  • 在不方便打字时使用语音输入
  • 为生成的内容配音

语音识别(ASR)​

语音识别功能将音频文件中的语音内容转录为文字。

支持的提供商​

提供商类型标识说明
OpenAI Whisperopenai-whisperOpenAI 的 Whisper 语音识别 API,支持多语言
ElevenLabs Scribeelevenlabs-sttElevenLabs 的语音转文字服务
Fish Audiofishaudio-asrFish Audio 的语音识别服务

配置步骤​

  1. 打开 设置 > 媒体提供商 > 语音识别
  2. 选择一个 ASR 提供商
  3. 输入 API Key
  4. 选择默认模型(如 whisper-1)
  5. 保存并启用
  6. (可选)将其设为默认提供商

配置参数​

配置项说明是否必填
API Key提供商的 API 密钥是
默认模型转录使用的模型否(使用提供商默认值)
默认提供商是否设为默认 ASR 提供商否

使用方法​

  1. 选择或录制一段音频
  2. 系统自动将音频发送给配置的 ASR 提供商
  3. 转录结果以文字形式返回

自动格式转换​

ASR 服务内置了自动格式转换能力。如果上传的音频文件格式不在 Whisper API 原生支持的范围内,系统会尝试使用 ffmpeg 自动转换为 WAV 格式后再进行转录。

原生支持的音频格式​

格式扩展名
FLAC.flac
M4A.m4a
MP3.mp3
MP4.mp4
MPEG.mpeg, .mpga
OGG.oga, .ogg
WAV.wav
WebM.webm

其他格式(如 .amr、.silk 等)会自动转换为 WAV 再处理。

:::info ffmpeg 依赖 自动格式转换功能需要系统安装 ffmpeg。如果未安装 ffmpeg,不支持的格式将直接发送给 API(API 可能拒绝处理)。 :::

转录参数​

参数说明
providerId指定使用的 ASR 提供商(可选,默认使用默认提供商)
modelId指定使用的模型(可选)
language指定音频语言(可选,自动检测)

语音合成(TTS)​

语音合成功能将文字内容转换为自然语音。

支持的提供商​

提供商类型标识说明
ElevenLabselevenlabs-tts高质量多语言语音合成,提供丰富的声音选择
Fish Audiofishaudio-ttsFish Audio 的语音合成服务

配置步骤​

  1. 打开 设置 > 媒体提供商 > 语音合成
  2. 选择一个 TTS 提供商
  3. 输入 API Key
  4. 选择默认模型
  5. 选择默认声音(Voice)
  6. 保存并启用
  7. (可选)将其设为默认提供商

配置参数​

配置项说明是否必填
API Key提供商的 API 密钥是
默认模型语音合成使用的模型否
默认声音默认使用的声音 ID否
默认提供商是否设为默认 TTS 提供商否

使用方法​

  1. 选择要转换的文字内容
  2. 选择声音(Voice)
  3. 系统将文字发送给 TTS 提供商
  4. 生成的音频可以直接播放或保存

声音选择​

每个 TTS 提供商都提供多种声音供选择。你可以:

  1. 在 TTS 设置中查看可用声音列表
  2. 预览不同声音的效果
  3. 选择一个声音设为默认

声音列表通过 API 动态获取,会随提供商更新而变化。

输出格式​

格式说明
mp3通用音频格式(默认)
wav无损音频格式
ogg开源压缩格式
opus高效压缩格式
pcm原始音频数据

合成参数​

参数说明
providerId指定使用的 TTS 提供商(可选)
modelId指定使用的模型(可选)
voiceId指定使用的声音(可选)
outputFormat输出音频格式(可选,默认 mp3)
outputDir保存目录(可选)

常见问题​

问题解决方案
ASR 转录为空检查音频文件是否包含有效的语音内容,确认文件未损坏
不支持的音频格式安装 ffmpeg 以启用自动格式转换功能
TTS 生成的语音不自然尝试切换不同的声音或模型,部分声音在特定语言下效果更好
声音列表为空确认 API Key 有效且提供商服务正常
转录结果不准确尝试指定正确的语言参数,或选择更适合的模型
TTS 无声音输出检查系统音量和音频输出设备,确认生成的文件非空

相关链接​