Искусственный интеллект способен учиться языку жестов, основываясь на 80-часовом видеоматериале

Для людей, страдающих глухотой или нарушениями слуха, технологии распознавания голоса, такие как Alexa и Siri, могут стать преградой в эффективной коммуникации. Исследователи использовали искусственный интеллект для создания инструмента, который преобразует жестовый язык в текст, что может повысить доступность и включение в общество для глухих людей.

Перевод жестового языка требует точного понимания позы жестовщика, чтобы сгенерировать точную текстовую транскрипцию. Исследователи из Барселонского центра суперкомпьютеров (BSC) и Политехнического университета Каталонии (UPC) использовали искусственный интеллект для разработки инструмента, улучшающего перевод жестового языка.

Это важный шаг к тому, чтобы дать возможность глухим и лицам с нарушениями слуха взаимодействовать с технологией и получать доступ к цифровым сервисам, разработанным для использования со звучащими языками. Исследователи использовали модель машинного обучения в стиле трансформера, аналогичную той, которая лежит в основе других инструментов искусственного интеллекта, например, ChatGPT. Трансформеры полезны по двум основным причинам. Во-первых, эти модели хорошо обучены использовать контекст благодаря механизму самовнимания, присутствующему в их архитектуре.

Самовнимание - это способ, с помощью которого нейронная сеть контекстуализирует слова, обращая внимание на другие слова в тексте. Во-вторых, они позволяют значительно увеличить производительность при обучении на тренировочных примерах, что позволяет использовать больше данных для обучения в определенное время. В данном исследовании тренировочный набор данных взят из проекта How2Sign, который представляет собой крупномасштабный мультимодальный набор данных с множеством ракурсов, состоящий из 80 часов видеоматериала с инструкциями на американском жестовом языке и соответствующими английскими транскрипциями.

"Новый разработанный инструмент является расширением предыдущей публикации, также созданной BSC и UPC, под названием How2Sign. В рамках этой публикации были опубликованы данные, необходимые для обучения моделей, включающие более 80 часов видео, где переводчики жестового языка на американском жестовом языке переводят видеоуроки, такие как кулинарные рецепты или советы по самоделкам", - сказала Лайя Таррес, ведущий автор исследования.

"Используя эти уже доступные данные, команда разработала новое программное обеспечение с открытым исходным кодом, способное научиться отображать видео в текст". Для исследователей важным было использование видео с непрерывным жестовым языком, а не изолированных жестов, поскольку это более реалистично отражает то, как говорящие естественным образом используют цепочку слов (конкатенацию) для построения предложений, что может быть важным фактором в определении смысла предложения.

Одной из проблем, с которой столкнулись исследователи, была изменчивость и сложность жестовых языков, которые могут зависеть от таких факторов, как фон жестовщика, контекст и внешность. Для помощи в этом они предварительно обработали данные с использованием метода извлечения видео под названием Inflated 3D Networks (I3D), который применяет трехмерный фильтр к видео, позволяя извлекать пространственно-временную информацию из них. Исследователи обнаружили, что предварительная обработка текста также значительно улучшает перевод жестов в текст.

Для предварительной обработки исходного текста они привели его к нижнему регистру, что снизило сложность словаря. В целом, они обнаружили, что их модель способна создавать осмысленные переводы, хотя и не идеальные. "Хотя наша работа показала многообещающие результаты, всё же есть место для улучшения", - отмечают исследователи. Находясь все еще в экспериментальной фазе, исследователи будут продолжать работу над созданием инструмента, который позволит глухим и лицам с нарушениями слуха использовать те же технологии, что и люди без проблем со слухом.

• Грибы как компьютерные чипы: учёные создают «живую память» из шиитаке
• Учёные создали трёхслойное микрофлюидное устройство для сверхэффективного охлаждения электроники
• Обычный кристалл оказался идеальным материалом для технологий на сверхнизких температурах
• Учёные научились превращать снимки атомно-силового микроскопа в точные 3D-модели движений белков
• Учёные создали уникальный гидрогель для «неклонируемых» меток безопасности
• Роботы нового поколения: в Caltech создали систему, которая может ходить, ездить и летать
• Учёные создали 3D-печатные материалы, которые полностью гасят вибрации
• Квантовые кристаллы: как учёные из Оберна открыли путь к новой технологической революции