Dubbing Studio
Обновления Dubbing Studio:
02.10.2025. В программе Dubbing Studio произведена интеграция с Сервером Синтеза Речи (Text-to-Speak). Добавлена возможность озвучивания текста Клонироваными голосами актеров. Добавлено новых 8 клонированных голосов актеров. Произведено дообучение модели синтеза речи для Латышского языка. Разработан план на добавление в Dubbing Studio 40 новых фунций (со сроком исполнения октябрь 2025 года).
03.09.2025. Внесены изменения в разделе Редактор субтитров. Добавилась возможность экспортирования (сохранения) субтитров прямо из Редактора Субтитров.
08.08.2025. Вышел новый релиз Dubbing Studio. Обновлён редактор субтитров.
04.08.2025. В модель синтеза речи на латышском языке добавлено 10 часов данных. Сейчас датасет составляет 30 часов размеченных данных и 30300 уникальных слов. Это привело к улучшению модели синтеза речи на латышском языке.
01.08.2025 . Обновилась модель определения говорящих при диаризации. Модель начала распознавать до 50 отдельных голосов в одном аудио файле. Распознание говорящих стало более качественным.
MultiVoice.AI переодически выпускает новые релизы программы Dubbing Studio. В октябре-ноябре 2025 года в программе Dubbing Studio следующие дополнени и изменения:
В Редакторе Субтитров:
1. если в поле synth language нет занчения языка и в поле Actor нет значения AI Голоса – то начать синтез речи нельзя. Появится ошибка.
2. поле Synt Data 1 и Synt Data 2 не будет возможности измененить через интерфейс.
3. Сделать Экспорт субтитров (simple) в формате .vtt.
4. Сделать Экспорт субтитров в отдельных 2 форматах.
5. Делаем отдельный Вид для Переводчика Субтитра. Включаем в него только те поля, которые нужны для проверки точности Переведенных субтитров.
6. Делаем отдельный Вид для работы с Синтезом Речи. Включаем в него только те поля, которые нужны для работы с сервером синтеза речи.
7. Сделать в виде Синтез Речи отдельную кнопку, чтобы Автоматически расставлялись AI голоса для Дубляжа в соответствии с выбранным полом.
8. Сделать в виде Синтез Речи отдельную кнопку, чтобы Автоматически расставлялись 2 AI голоса для Voice Over в соответствии с выбранным полом. Для мужских ролей – 1 голос мужской голос и для женских ролей – другой голос (женский).
9. Сделать общий (суммированный) расчет символов поле Текста (ориринальног языка) и расчет суммированный символов Текста переведенных субтитров (на другой язык).
10. Сделать проверку орфографии. AI должен проверят ошибки и правописание в Субтитрах оригинальных и в Переводных субтитрах. Сделать Wizzard – проверка текста.
11. когда отправляется проект на Синтез речи – чтобы Редактор субтитров сам закрывался
и была доступна конопка входя в Редактор Субтитров только после того, как от сервера Синтеза Речи пришло успешное сообщение о готовности синетза.
12. когда отправляется проект на Перевод субтитров – чтобы Редактор субтитров сам закрывался
и была доступна конопка входя в Редактор Субтитров только после того, как от сервера Переводов пришло успешное сообщение о готовности перевода.
13. Через Майл сервер уведомляем Пользователей о готовности Субтитров или готовности Синтеза Речи.
14. Создание внутренней админ панели для распределения заданий среди Редакторов, Переводчиков и специалистов Синтеза Речи.
15. Создание формы заказа в Dubbing Studio и в Web для распознания аудиозаписей судебных заседаний.
16. Опубликование данных публичного API.
17. Создание формы заказа в Dubbing Studio создание аудио книг.
18. На тайм лайне в Редакторе Субтитров переведнные субтитры накладывать учтя реальный конец субтитров из поля synt data1. если в этом поле стоит значение – ДА – то длину субтитров брать stard time + synt data2 time =. и это время будет время конца субтитров. по такой же логике должна работать кнопка Экспорт переведённых субтитров – в простом виде .srt
19. Если на тайм лайне переведенные субтитры накладываются друг на друга – то такие субтитры надо подсвечивать отдельным цветом – а также чтобы и сам субтитр (в виде текста) был красным. Это Ошибка. Вывести эту ошибку в чек лист.
20. В Форме заказа Создать Субтитры и Создать Дубляж Видео списки языков доступных языков выводить по алфавиту. В форме заказа Создать Дубляж пока не нажата кнопка выбора типа заказа – Заказ не может быть успешно создан.
В Web:
1. делаем регистрацию пользователей на вебе, в том числе делаем поле API key для Пользователей. С API key
пользователи смогут с через MultiVoice API производить заказы и получать готовый продукт.
2. делаем возможность заказать субтитры через Web.
- Полная переинсталляция сревиса Speach to Text.
- Добавление GPU карт. В месяц система должна иметь возможность обработать 4300 часов аудио/video в режиме создания точных субтитров и определения говорящих.
- Бесплатный тест для всех желающих сервиса Speach to Text. Проверка нагрузки и балансировки трафика.
- Установка нового GPU сервера. Оптимизация скорости работы Синтеза Речи.
- Увеличение данных в датасете для Латышского языка.
Гид по Dubbing Studio
Регистрация
MultiVoice.AI переодически выпускает новые релизы программы Dubbing Studio. О выходе нового релиза программы мы сообщаем пользователям в автоматическом режиме. При запуске программа Dubbing Studio проверяет, есть или нет новый релиз. Если есть – то появляется диалоговое окно, в котором указано, что вышло обновление программы и надо программу переустановить.
При первом входе в программу Пользоватею необходимо прочитать и согласится с Пользовательским солашением. Если Пользователь не согласен с условиями использования программы Dubbing Studio – то тогда Пользователь программу искпользовать не может.
При первом входе в Программу Dubbing Studio Пользоватею необходимо произвести регистрацию. Пользователи программы Dubbing Studio делятся на 3 категории:
– юридические лица.
– физические лица.
– индивидуальные предприниматели.
Необходимо указать полные и правильные данные Пользователя, чтобы MultiVoice.AI могла правильно
выставлять счета за предоставленные услуги.
После успешной Регистрации Пользователь в своем профиле может найти уникальный сгенерированный API key. С данным ключом пользователь может встроить сервис MultiVoice.AI
в свое программное решение. В случае необходимости API key можно сменить. Внимание – не передавайте Ваш API Key третьим лицам. На основании API Key происходит учет биллинга и оплат.
Работоспособность Dubbing Studio проверена на Windows7 Service PAck 1, Windows 10, Windows 11. Для 32-битных и 64-битных систем.
Создание заказа
В настоящее время – недоступно. В процессе создания.
В настоящее время – недоступно. В процессе создания.
1. Форма Заказа предназначена для создания Субтитров.
2. При создании Заказа необходимо выбрать язык из списка доступных языков, на котором “говорит” исходный аудио или видео файл. В настоящее время MultiVocie.AI делает Субтиры для 110 разных языков. Если в исходном файле “говорят” на нескольких языках, то Субтитры будут изготовлены только на том языке, который будет указан при Заказе. Выбрать одновременно несколько языков при создании Заказа – невозможно.
3. Необходимо выбрать будут ли Субтитры создаваться автоматически (AI), или же Субтитры будет делать MultiVoice.AI (привлекая человека, носителя языка).
Если субтитры будут создаваться автоматически (AI), то Пользователь сам может проверить и скорректировать качество субтитров (внимание – в настоящее время AI не может создать субтитры с точностью 100%. Поэтому нужен человек (для проверки и редактирования). Если субтитры будет делать MultiVoice.AI (привлекая человека), то тогда качество Субтитров будет 100%. Cмотрите примеры изготовленных Субтитров тут.
4. Можно выбрать опцию перевода субтитров на другой язык. Перевод может быть сделан автоматически (внимание – в настоящее время AI не может сделать превод с точностью 100%, например AI еще не научился качественно переводить идиомы). Смотрите пример перевода Субтитров тут.
Или же перевод будет делать MultiVoice.AI, привлекая переводчика-человека, носителя языка. Тогда качество перевода будет 100%. Смотрите пример перевода Субтитров тут.
5. Можно выбрать опцию 100% синхронизации Субтитров с движением губ в видео. Качество будет 100%. Субтитры будут на 100% совпадать с артикуляцией.
6. Можно выбрать опцию создания Ролифицированных субтитров. Тогда впереди текста субтитра будет указано, кто говорит каждую реплику. Смотрите пример Ролифицированного Судтитра тут.
7. Надо добавить исходный файл, из которого будет изготовлены субитры. Исходный файл можно загрузить с компьютера или же с интернета.
8. Нажимаем кнопку Офрмить заказ. После этого будет отправлен запрос на сервер MultiVoice.AI и будет создан уникальный проект с Заказом.
9. В меню Мои Заказы напротив названия Заказа будет отображен статус Заказа. Вначале файл будет закачан на сервер MiltiVoice.AI, затем файл будет обработан и будут затем будут созданы Субтитры. Желтый круг – обозанчает Заказ в процессе изготовления, Красный – произошла ошибка (и Заказ будет проверен Администратором MultiVoice.AI), Зеленый – что одна из стадий создания Заказа готова.
10. После того, как Субтитры будут готовы, Вам придет оповещение на mail о готовности Субтитров. Субтитры можно будет скачать в формате .srt, .vtt. в меню Мои Заказы. Также Пользователь может сам просмотреть (и отредактировать при необходимости) Субтитры в Редакторе Субтитров в программе Dubbing Studio.
11. При создании Заказа на экране расчитывается примерая стоимость. Примерная стомость замораживается (блокируются) с личного лицевого счета Пользователя. После того, как Заказ будет изготовлен – будет расчитана точная стомость изготовления Заказа и деньги будут списаны с лицевого счета Пользователя. Если в процессе изготовления Заказа произойдет техническая ошибка (например если в исходном контенте не будет речи вообще, или речь не будет определена, или исходный файл для содания Заказа будет поврежден) – то тогда деньги не будут списаны и будут разблокированы.
1. Форма Заказа предназначена для создания Озвучания или Дублирования одиночного видео.
2. При создании Заказа необходимо выбрать язык из списка доступных языков, на котором “говорит” исходный видео файл. Затем их списка надо выбрать язык, на который Пользователь хочет Озвучить или Дублировать видео.
3. При обработке видео будет задействован модуль Speach-to-Text и MultiVocie.AI автоматически распознает все реплики в видео файле.
Если в исходном файле “говорят” на нескольких языках, то распознание реплик произойдет только на том языке, который будет указан при Заказе. Выбрать одновременно несколько языков при создании Заказа – невозможно.
4. Пользователь может выбрать 2 опции – Создание Дубляжа автоматическим AI, или поручить создать Дубляж MultiVoice.AI.
Если Пользователь выберет опцию Создание Дубляжа автоматическим AI, то тогда все действия будут произведены AI в автоматическом режиме. AI при выполнении заказа сделает следующее: 1) за копирует файл на файловый сервер MultiVoice.AI 2) распознает реплики модулем Speach-to-Text и запишет все реплики в текстовый файл 3) проведет автоматическую проверку полученного текстового файла на ошибки 4) переведет все реплики с исходного языка на другой язык 5) автоматически расставить AI голоса 6) Сделает синтез речи 7) Отправит сообщение что Заказ готов на электроную почту.
Внимание – качество дубляжа сделанного AI не будет составлять 100%. В настоящее время AI не умеет на 100% качественно осуществлять Дубляж. Пользователь сам в программе Dubbing Studio может корректировать все промежуточные процессы и добиться 100% качества Дубляжа. Если Пользователь самостоятельно не будет корректировать промежуточные процессы – то качество автоматического Дубляжа не будет составлять 100%. По этой ссылке можно оценить качество полностью автоматического Дубляжа (без вмешательства и корректировки человеком).
Если Пользователь выберет поручить создать Дубляж MultiVoice.AI, то тогда MultiVoice.AI подключит своих сотрудников и проверит все промежуточные процессы человеком – носителем языка. MultiVoice.AI обеспечит правильный художественный перевод, расставит AI голоса по похожести с оригиналом видео, проверит LipSync.
5. Нажимаем кнопку Офрмить заказ. После этого будет отправлен запрос на сервер MultiVoice.AI и будет создан уникальный проект с Заказом.
6. В меню Мои Заказы напротив названия Заказа будет отображен статус Заказа. Вначале файл будет закачан на сервер MiltiVoice.AI, затем файл будет обработан, будут созданы Субтитры, затем перевод, затем Синтезирование AI голосов. Желтый круг – обозанчает Заказ в процессе изготовления, Красный – произошла ошибка (и Заказ будет проверен Администратором MultiVoice.AI), Зеленый – что одна из стадий создания Заказа готова.
7. После того, как Заказ будет готов, Вам придет оповещение на mail о готовности Заказа. Субтитры можно будет скачать в формате .srt, .vtt. в меню Мои Заказы. Там же можно будет скачать аудифайл с Дубляжом.
8. При создании Заказа на экране расчитывается примерая стоимость. Примерная стомость замораживается (блокируются) с личного лицевого счета Пользователя. После того, как Заказ будет изготовлен – будет расчитана точная стомость изготовления Заказа и деньги будут списаны с лицевого счета Пользователя. Если в процессе изготовления Заказа произойдет техническая ошибка (например если в исходном контенте не будет речи вообще, или речь не будет определена, или исходный файл для содания Заказа будет поврежден) – то тогда деньги не будут списаны и будут разблокированы.
В процессе заполнения.
Редактор субтитров
В процессе заполнения.
В процессе заполнения.
В процессе заполнения.
Синтез голоса
1. Dubbing Studio дает возможность Озвучить или Дублировать видео на другой язык AI голосами.
Dubbing Studio предлагает 2 вида голосов: клонирование оригинального голоса говорящего (например – актера фильма) или 24 варианта обычных голосов.
2. Для того, чтобы сделать клонирование оригинального голоса говорящего (например – актера фильма) – свяжитесь с нашим менеджером. По этическим и юридическим соображениям MultiVoice.AI не осуществляет клонирование голоса online.
3. Важно. В каждом поле Synth Language должен стоять язык, на который должен быть изготовлен AI голос. В случае, если поле не будет заполнено правильно, то Синтез речи не будет запущен.
4. Если в поле Synth Respeak проставить галочки (да), то тогда при нажатии кнопки “Начать Синтез Речи” будут изготовлены (озвучены AI голосом) только выбранные поля. Если галочка (да) стоять не будет, то тогда при нажатии на кнопку “Начать Синтез Речи” файл будет изготовлен целиком.
5. Если в поле Synth Original проставить галочки (да), то тогда выбранный субтитр не будет синтезирован, а будет скопирован из оригинальной аудиодорожки в переводную аудио дорожку. Таким образом можно из оригинальной аудиодорожки выбирать (вырезать) отдельные фрагменты (например звуки, издаваемые животными, тексты песен) и вставлять их в переведенную дорожку.
6. Также необходимо четко и грамматически правильно заполнять поле Text Translated. Сервер Синтеза Речи будет проговаривать слова так, как они написаны (дословно).
7. Надо учитывать, что на разных языках одно и то же предложение может иметь разное количество букв. MultiVoice.AI в программе Dubbing Studio в Редакторе делает подсчет, сколько символов есть в оригинальном тексте, и сколько символов получилось в переводном тексте. Внимание – если в переводном тексте количество символов больше, чем в Оригинальном тексте, то тогда при Озвучании могут накладываться фразы друг на друга. Чтобы этого избежать следите, чтобы количество символов в переводном тексте было не больше, чем количество символов в оригинальном тексте.
8. MultiVoice.AI осуществляет перевод с оригинального языка на целевой язык путем использования технологий AI. В настоящее время ни один AI не может на 100% качественно осуществить перевод. Поэтому если необходимо получить 100% качества – то человек (носитель языка) должен проверить сделанный AI перевод.
9. MultiVoice.AI Озвучивает (Дублирует) текст AI голосами. В разных языках мира есть разное количество обще употребляемых слов. Например для Латышского языка – количество широко употребляемых слов составляет 60000. Всего в Латышском языке насчитывается 1.5 млн слов (включая устаревших). На дату 02.10.2025 года) MultiVoice.AI знает как проговаривать 63000 тыс. различных слов Латышского языка. Постепенно MultiVoice.AI обучается использовать и проговаривать новые слова. Нажмите кнопку “Начать Синтез Речи” и через некоторое время Вы получите готовый Озвученный (дублированный) результат. А в поле Text Translated будут подернуты те слова, которые MultiVoice.AI до этого случая не проговаривал. Раз в неделю искусственный интеллект происходит до обучение и после до обучения будет знать и правильно произносить ранее неизвестные слова.
10. В поле Actors расставьте Актеров голосами которых Вы будете озвучивать конкретный субтитр. В зависимости от выбранного вами пола (поле Gender) в списке Актеров будут указаны мужские, женские или детские голоса. Поле Gender
необходимо обязательно заполнить. Иначе не будут показаны Актеры.
11. Нажмите кнопку “Начать Синтез Речи”. Если у Вас не будет ошибок, то Редактор субтитров закроется и проект отправиться на отдельный сервер синтеза речи. Через некоторое время в “Моих заказах” появится надпись, что Синтез речи готов и можно будет войти в Редактор субтитров и проверить полученный результат. Если будут ошибки – то Редактор Субтитров сам Вам напишет в каких полях есть не заполненные данные.
В процессе заполнения.
В процессе заполнения.
Для Переводчиков и Редакторов Субтитров
В процессе заполнения.
В процессе заполнения.
В процессе заполнения.