Чтение по губам
В школьные годы я занимал свой досуг многими странными вещами, например, пытался научиться читать по губам. В фильмах и литературе это выглядело роскошно — стоит этим овладеть и ты сможешь чётко понимать что говорят другие люди.
На каком-то уровне я этим умением овладел, но дальше дело не продвинулось, как я ни бился. Я и сейчас иногда, если мне хорошо видно губы, пользуюсь этим умением — в шумных местах здорово помогает понять собеседника.
Единственное, что мне было непонятно — почему мой уровень тогда застопорился, неужели тут есть какой-то секрет?
И лишь недавно, в сериале «Убийства в одном здании» мне попалась разгадка. Там один парень, глухонемой, который общается жестами, говорит в один момент, что глухие, читая по губам, улавливают примерно треть произносимого, остальное достраивают по контексту или вовсе упускают.
Читал, что нейронки обучили этому делу, по видео определять сказанное по артикуляции.
А насколько хороший результат получился?
С днём рождения!
Спасибо! )
https://arxiv.org/abs/1611.01599
«On the GRID corpus, LipNet achieves 95.2% accuracy in sentence-level» что бы это ни значило :)
Попробую посмотреть что там по ссылке вечерком ) результаты ещё должны отличаться для разных языков.
Подтверждаю то, что было сказано в сериале как глухой пенек всю жизнь. Чтение по губам на 100% недостижимая задача. Точнее я бы сказал достижимая только с отдельно взятым человеком у кого артикуляция и речь хорошо поставлена. Таких людей мало. Еще со временем с кем много общаешься тоже лучше начинаешь по губам читать, но до идеала далеко.
Чтение по губам просто один из способов понять речь и повысить распознаваемость. А полностью все достаивается из контекста разговора, мимики, жестов и того что удалось услышать.