Самая точная программа для чтения по губам

LipNet разработан исследователями из Оксфордского университета. Это не первая программа для чтения по губам, но сейчас она самая точная, достигнув впечатляющей 93,4% точности, по сравнению с 52%, которые достигает опытный человек, который умеет читать по губам.

Основываясь на предыдущих исследованиях, ученые поняли, что люди лучше читают по губам и понимают, что конкретно сказано, когда имеют дело с длинными словами. Поэтому LipNet не анализирует информацию пословно, а принимает во внимание целые предложения, после чего использует технику глубокого обучения, чтобы уже, исходя из целого, расшифровать каждое отдельное слово.

Что это значит для остальных людей, не ученых? На смартфоне вместе с камерой, которую можно носить на теле, LipNet может быть замечательным инструментом для людей с ослабленным слухом или же вообще глухих. Даже если они уже обладают навыком чтения по губам, такая программа значительно им поможет, так что LipNet может еще больше облегчить коммуникацию тем, кто испытывает с ней проблемы.