Люди с нарушениями слуха используют язык жестов для общения, однако зачастую требуется переводчик с обычного языка на язык жестов (например, в телевизионных передачах) и наоборот. Проблемой в данном случае является то, что такие переводчики не встречаются на каждом шагу, и обучиться их ремеслу довольно непросто. Поэтому компания Microsoft анонсировала проект азиатской группы Microsoft Research, который нацелен на создание нового и более совершенного способа перевода языка жестов.
Microsoft Research в рамках решения этой задачи работает с учёными из Института Компьютерных Технологий при Китайской Академии Наук. Сообща они создали программное обеспечение, которое использует возможности контроллера Kinect для операционных систем Windows. Камера Kinect отслеживает движение рук человека, «говорящего» на языке жестов, а программа анализирует их, выбирая наиболее вероятное слово, подходящее под каждый конкретный жест.
Приложение способно работать в двух режимах. Первый называется Режим Перевода (Translation Mode), в нём жесты переводятся в речь или текст. Второй – Режим Коммуникации (Communications Mode). Здесь слушатель впечатывает слова, которые затем отображаются на мониторе в виде языка жестов, демонстрируемого 3D-аватаром. На другом конце пользователь со слуховыми проблемами видит сообщение уже в форме языка жестов. Пока что программа поддерживает только китайский и американский английский языки, но создать аналог для любого другого языка не составит затруднений.