Это сайт — моя персональная записная книжка. Интересна мне, по большей части, история, своя жизнь и немного программирование.

Чтение по губам

В школьные годы я занимал свой досуг многими странными вещами, например, пытался научиться читать по губам. В фильмах и литературе это выглядело роскошно — стоит этим овладеть и ты сможешь чётко понимать что говорят другие люди.

На каком-то уровне я этим умением овладел, но дальше дело не продвинулось, как я ни бился. Я и сейчас иногда, если мне хорошо видно губы, пользуюсь этим умением — в шумных местах здорово помогает понять собеседника.

Единственное, что мне было непонятно — почему мой уровень тогда застопорился, неужели тут есть какой-то секрет?

И лишь недавно, в сериале «Убийства в одном здании» мне попалась разгадка. Там один парень, глухонемой, который общается жестами, говорит в один момент, что глухие, читая по губам, улавливают примерно треть произносимого, остальное достраивают по контексту или вовсе упускают.

4 комментария
Евгений 20 дн

Читал, что нейронки обучили этому делу, по видео определять сказанное по артикуляции.

Евгений Степанищев 20 дн

А насколько хороший результат получился?

Sam Spiridonov 20 дн

С днём рождения!

Евгений Степанищев 20 дн

Спасибо! )

Евгений 20 дн

https://arxiv.org/abs/1611.01599
«On the GRID corpus, LipNet achieves 95.2% accuracy in sentence-level» что бы это ни значило :)

Евгений Степанищев 20 дн

Попробую посмотреть что там по ссылке вечерком ) результаты ещё должны отличаться для разных языков.

Дмитрий Якушев 19 дн

Подтверждаю то, что было сказано в сериале как глухой пенек всю жизнь. Чтение по губам на 100% недостижимая задача. Точнее я бы сказал достижимая только с отдельно взятым человеком у кого артикуляция и речь хорошо поставлена. Таких людей мало. Еще со временем с кем много общаешься тоже лучше начинаешь по губам читать, но до идеала далеко.

Чтение по губам просто один из способов понять речь и повысить распознаваемость. А полностью все достаивается из контекста разговора, мимики, жестов и того что удалось услышать.