Задачи с видео
Липсинк: как синхронизировать речь с движением губ
Порог терпимости зрителя к рассинхрону речи крайне низкий, а с русской артикуляцией модели справляются хуже, чем с английской.
Коротко
Липсинк — задача, где почти получилось означает не получилось. Зритель замечает рассинхрон раньше, чем понимает, что именно не так, и перестаёт верить всему ролику.
Почему это сложнее, чем кажется
Человек читает по губам лучше, чем думает. Рассинхрон в десятые доли секунды уже вызывает ощущение неправильности — то самое, из-за которого ролик кажется дешёвым, хотя картинка отличная.
Хуже того, ошибка липсинка обесценивает всё остальное. Зритель перестаёт верить кадру целиком.
Русская артикуляция даётся моделям хуже
Причина та же, что и с кириллицей в кадре: состав обучающих данных. Англоязычного видео с речью на порядки больше.
Практические следствия. Шипящие и мягкие согласные, которых в английском нет или они устроены иначе, отрабатываются заметно хуже. Русская речь артикуляционно плотнее: в единицу времени приходится больше смен положения губ.
Величину разницы мы не измеряли и цифр не приводим.
Что помогает
Говорите медленнее, чем в жизни. Дикторский темп с чуть увеличенными паузами даёт модели больше времени на каждую смену положения.
Короткие фразы. Ошибки накапливаются: к концу длинной реплики рассинхрон заметнее, чем в начале.
Чистая запись голоса. Шум, эхо и наложение звуков сбивают выделение фонем.
Фронтальный ракурс. В профиль и вполоборота модели ошибаются чаще.
Порядок работы
Сначала звук, потом видео. Готовая звуковая дорожка — вход для липсинка, а не наоборот.
Разбейте длинную речь на фрагменты по одной-две фразы, сведите на монтаже. Так вы переделываете неудачный фрагмент, а не всю реплику.
Проверяйте со звуком и без. Без звука видно, что губы двигаются неестественно. Со звуком видно рассинхрон. Это разные дефекты.
Как проверить
Посмотрите на скорости 0.5. Все ошибки синхронизации, которые на обычной скорости воспринимаются как смутная неправильность, становятся очевидными.
Покажите ролик человеку, который не знает, что он сгенерирован. Если первый комментарий про губы — переделывайте.
Симптом, причина, решение
| Что видите | Почему так | Что делать |
|---|---|---|
| Губы двигаются не в такт | Рассинхрон дорожки и видео | Разбить речь на фразы и синхронизировать по частям |
| Артикуляция «мажет» | Слишком быстрый темп речи | Начитать медленнее, с чуть увеличенными паузами |
| Рот шевелится в паузах | Модель не распознала тишину | Почистить дорожку от шума и дыхания между фразами |
| К концу реплики расходится сильнее | Ошибка накапливается по длине | Короткие фрагменты, склейка на монтаже |
| Шипящие выглядят неправильно | Русская артикуляция даётся моделям хуже | Переформулировать фразу, избегая скоплений шипящих |
Порядок работы
Звук первым, видео вторым. Готовая дорожка — это вход для липсинка, и попытка сделать наоборот приводит к переделке обоих.
Фрагментами по одной-две фразы. Так неудачный кусок переделывается отдельно, а не вся реплика.
Как принимать результат
Три просмотра, каждый ловит своё. На обычной скорости — общее ощущение. На скорости 0.5 — рассинхрон. Без звука — неестественность самой артикуляции, которая со звуком маскируется.
Если первый комментарий постороннего зрителя про губы — переделывайте независимо от того, что показалось вам.
Частые вопросы
- Почему липсинк на русском хуже, чем на английском?
- Из-за состава обучающих данных: англоязычного видео с речью на порядки больше. Русская речь ещё и артикуляционно плотнее.
- Что делать сначала — звук или видео?
- Звук. Готовая дорожка является входом для липсинка.
- Как проверить синхронизацию?
- Посмотреть на скорости 0.5 — ошибки, незаметные на обычной скорости, становятся очевидными.