Задачи с видео
Перевод и озвучка видео
Синтез речи на другом языке и почему липсинк здесь обязателен, а не желателен.
Коротко
Переозвучка без синхронизации губ читается как дублированное кино, и зритель это принимает. Синтез голоса, выдающий себя за оригинал, — уже другая история.
Что технически происходит
Три отдельные операции, которые часто путают в одну:
Перевод текста. Обычная задача, к видео отношения не имеет.
Синтез речи. Готовый текст произносится голосом — синтетическим или клонированным с образца.
Липсинк. Артикуляция подгоняется под новую дорожку.
Каждая может выполняться отдельно, и от их сочетания зависит результат и его допустимость.
Три уровня и что они означают
Только перевод субтитрами. Ничего не меняется в кадре. Самый честный и самый дешёвый вариант.
Перевод и озвучка без липсинка. Классический дубляж: губы не совпадают, зритель это принимает как условность жанра.
Перевод, озвучка и липсинк. Выглядит так, будто человек говорит на другом языке. Здесь начинается зона, требующая обозначения.
Про клонирование голоса
Если голос синтезируется по образцу конкретного человека, это использование его голоса, а не техническая операция.
Согласие на съёмку не равно согласию на синтез голоса и тем более на произнесение синтезированным голосом текста, которого человек не говорил.
Своим голосом — свободно. Чужим — с согласия, письменного и на конкретное использование.
Где ломается технически
Длина фраз не совпадает. Русский текст обычно длиннее английского при том же смысле, и он не укладывается в артикуляцию. Лечится сокращением перевода, а не ускорением речи.
Интонация. Синтез даёт ровную линию, и на длинных фрагментах это утомляет. Разметка пауз и ударений помогает частично.
Русская артикуляция даётся хуже — та же причина, что и везде: состав обучающих данных.
Практический порядок
Перевести с сокращением под длительность оригинальных фраз. Синтезировать или начитать. Свести по фразам, а не целиком. Проверить на скорости 0.5.
И обозначить, если результат может быть принят за оригинальную речь человека.
Как уложить перевод в длительность
Перевод сохраняет смысл, но не длительность. Синтезированная реплика не влезает в тот промежуток, где в оригинале говорил человек, и дальше всё зависит от того, чем вы жертвуете. Способов три, от лучшего к худшему.
Сократить текст. Первым уходит всё, что видно в кадре: при показанной красной коробке фраза «он берёт красную коробку» сокращается до «берёт». Дальше вводные, повторы и уточнения. Единственный способ, который не портит звук.
Перекроить фразу. Тот же смысл другой конструкцией: «осуществляет проверку» — «проверяет», придаточное — причастным оборотом. Смысл цел, длина меньше.
Ускорить речь. Работает в тех пределах, где ускорение не слышно. Дальше голос начинает тараторить, и зритель замечает это раньше, чем рассинхрон, который вы чинили.
Чего делать нельзя — растягивать паузы между фразами, чтобы догнать длину оригинала. Пауза в чужом месте читается как заминка говорящего, и результат хуже, чем честный субтитр.
Имена собственные и числа
Самое частое место, где переозвучка выдаёт машину. Синтез читает незнакомое имя по правилам того языка, на котором озвучивает, и фамилия, произнесённая по-английски посреди русской фразы, выбивается сильнее любой интонационной ошибки.
Список имён, терминов и аббревиатур составляется до синтеза, а не правится после. Каждое имя пишется так, как должно звучать, а не так, как пишется в тексте. Аббревиатуры либо разворачиваются, либо расписываются по буквам явно — иначе синтез прочитает их как слово.
Числа стоят отдельно. Синтез разворачивает цифру по своим правилам и обычно не согласует числительное с существительным по падежу. Там, где число попадает в косвенный падеж, пишите его словами.
Симптом, причина, решение
| Что видите | Почему так | Что делать |
|---|---|---|
| Реплика идёт дольше, чем открыт рот | Перевод длиннее оригинала | Сокращать текст, а не ускорять речь |
| Речь ровная и утомляет | Синтез не размечает смысловые ударения | Размечать паузы и ударения вручную, по фразам |
| Фамилия звучит чужеродно | Имя прочитано по правилам языка озвучки | Задать произношение списком до синтеза |
| Число прочитано не в том падеже | Синтез не согласует числительное с существительным | Написать числительное словами |
| Голос не вяжется с человеком в кадре | Тембр выбран на слух, без оглядки на возраст и сложение | Подбирать голос по кадру, а не по красоте звучания |
| Дорожка расходится к концу ролика | Сведение шло целиком, а не по фразам | Свести пофразно, привязав каждую реплику к своей метке |
Где переозвучка не работает
Песни и всё, где текст привязан к ритму: сокращать нельзя, а не сокращать не получается.
Речь с сильной эмоцией — крик, плач, смех. Синтез даёт ровную линию ровно там, где смысл был в сломе линии.
Диалог с перебиванием. Реплики накладываются, а синтез собирается по одной, и наложение приходится изображать монтажом.
Материал, где голос — часть узнаваемости человека. Здесь вопрос уже не технический, и решается он не настройками, а обозначением того, что вы сделали.
Во всех четырёх случаях субтитры честнее: смысл передан, оригинал не тронут, и ничего не выдаёт себя за то, чем не является.
Что остаётся под речью
Оригинал почти всегда приходит одним сведённым файлом. Убирая голос, вы убираете вместе с ним часть комнаты: шум улицы, гул зала, музыку сцены. Новая реплика повисает в тишине посреди звучащего кадра, и это слышно раньше рассинхрона.
Лечится ровной атмосферой, подложенной под всю длину, а не под отдельные фразы. Подложить нечего — честнее субтитры.
Частые вопросы
- Нужно ли согласие на клонирование голоса?
- Да, если голос чужой. Согласие на съёмку не равно согласию на синтез голоса и произнесение им текста, которого человек не говорил.
- Почему перевод не укладывается в артикуляцию?
- Русский текст обычно длиннее английского при том же смысле. Лечится сокращением перевода, а не ускорением речи.
- Обязателен ли липсинк?
- Нет. Дубляж без синхронизации губ зритель принимает как условность жанра. Липсинк нужен, когда результат должен выглядеть оригинальной речью.