Обзор генерации медиа
Elftia интегрирует несколько возможностей генерации медиа с помощью ИИ, охватывающих создание изображений, видео и музыки, а также распознавание речи (ASR) и синтез речи (TTS), позволяя генерировать мультимедийный контент с помощью ИИ прямо в рамках чата и рабочих процессов создания контента.
Варианты использования
- Генерировать иллюстрации, концептуальные дизайны или произведения искусства с помощью ИИ во время чата
- Создавать короткие видеоролики из текстовых описаний
- Создавать ИИ-музыку из текстовых промптов и необязательных текстов песен
- Автоматически транскрибировать голосовые сообщения в текст
- Преобразовывать ответы ИИ или произвольный текст в речь для воспроизведения
Поддерживаемые типы медиа
| Тип медиа | Описание | Поддерживаемые провайдеры |
|---|---|---|
| Генерация изображений | Создание изображений из текстовых промптов | Gemini, OpenAI (DALL-E), Vertex AI, пользовательские провайдеры |
| Генерация видео | Создание видео из текста или изображений | Kling AI, OpenAI (Sora), Replicate, VolcEngine, Wan |
| Генерация музыки | Создание музыки из текстовых промптов | ACEMusic |
| Распознавание речи (ASR) | Транскрибирование аудиофайлов в текст | OpenAI Whisper, ElevenLabs Scribe, Fish Audio |
| Синтез речи (TTS) | Преобразование текста в речь | ElevenLabs, Fish Audio |
Общий рабочий процесс
Все функции генерации медиа следуют схожему рабочему процессу:
Настроить провайдера → Выбрать модель → Ввести параметры → Сгенерировать → Просмотреть / сохранить результат
Шаг 1: Настройка провайдера
- Откройте Настройки > Медиапровайдеры
- Найдите провайдера для нужного типа медиа
- Введите API-ключ и необходимую конфигурацию
- Включите провайдера
Шаг 2: Генерация контента
В зависимости от типа медиа введите параметры в соответствующем UI и сгенерируйте контент. Конкретные шаги описаны в подробной документации по каждому типу медиа.
Шаг 3: Просмотр и сохранение
Сгенерированный медиаконтент можно просмотреть непосредственно в приложении и сохранить в локальную файловую систему.
Глобальные настройки
Все функции генерации медиа используют следующие общие глобальные настройки:
| Настройка | Описание | По умолчанию |
|---|---|---|
| Параллелизм | Максимальное количество одновременных задач генерации | 3 |
| Количество повторных попыток | Количество автоматических повторных попыток при сбое генерации | 2 |
Управление провайдерами
Встроенные провайдеры
Elftia включает определения для основных провайдеров генерации медиа. Достаточно ввести API-ключ, чтобы начать работу.
Пользовательские провайдеры
Для провайдеров, не входящих во встроенный список, можно добавить пользовательского провайдера вручную:
- Нажмите Добавить пользовательского провайдера в настройках медиапровайдеров
- Заполните имя провайдера, конечную точку API и данные аутентификации
- Настройте список моделей и параметры по умолчанию
- Сохраните и включите
Подробная документация
- Генерация изображений — Полное руководство по созданию изображений с помощью ИИ
- Генерация видео — Инструкции по созданию видео с помощью ИИ
- Генерация музыки — Настройка параметров для создания музыки с помощью ИИ
- Речевые сервисы — Функции распознавания и синтеза речи
Часто задаваемые вопросы
| Вопрос | Решение |
|---|---|
| Провайдер отображается как ненастроенный | Проверьте, что введён правильный API-ключ |
| Запрос на генерацию истекает по таймауту | Некоторые задачи генерации (особенно видео) занимают много времени — пожалуйста, подождите |
| Низкое качество генерации | Попробуйте уточнить описание в промпте; добавьте больше деталей и указаний по стилю |
| Квота API исчерпана | Проверьте квоту использования у провайдера; рассмотрите возможность обновления плана или смены провайдера |
Связанные ссылки
- Конфигурация провайдеров LLM — Как настроить текстовые модели LLM (отдельно от медиапровайдеров)
- Чат — Использование функций генерации медиа в разговоре