Новая технология превращает жестикуляцию в музыку

Некоторые люди говорят при помощи рук, используя язык жестов. Исследователь из Университета Британской Колумбии решил доказать, что благодаря современным технологиям и возможностям компьютерного проектирования и моделирования "говорить руками" можно в буквальном смысле этого выражения.

Сидней Фелс (Sidney Fels) и его научно-исследовательская группа оснастили пару обычных перчаток позиционно-чувствительными сенсорами, которые фиксировали движения и выдавали определенные звуки, когда находились в трех измерениях. Различные жесты рук производили всевозможные типы звуков. Например, сжатая правая ладонь способствовала воспроизведению согласных звуков, а раскрытая ладонь выдавала гласные звуки. Тем временем левая рука выполняла регулирование таких кратких звуков, как, например согласные звуки B или P (в американском варианте английского языка).

Идея, частично, заключалась в дублировании некоторых движений горла и языка при произношении тех или иных звуков во время разговора. Гласные являются открытыми звуками, которые образуются при открытом горле и губах, поэтому раскрытые ладони производили такие же типы звуков.

Для дополнительного уровня контроля, правая ладонь воспроизводила высокую тональность звуков, находясь в поднятом положении, и снижала тональность, приобретая горизонтальное положение. Подобная технология также может быть использована для создания музыки. Среди коллег Фелса, которые приняли участие в разработке нового проекта, были профессор из музыкальной школы Университета Британской Колумбии, Роберт Притчард (Robert Pritchard) и Джонти Вонг (Johnty Wang), специалист по компьютерному проектированию и концертный пианист. Уже было проведено несколько концертов, на которых изобретение Фелса было использовано в качестве музыкального инструмента.

Пока эта технология стала воплощением в жизнь идеи создания виртуального музыкального инструмента, но профессор Фелс убежден, что его изобретение может найти свое применение и в такой промышленной отрасли, как машиностроение, в частности в системе перемещения тяжелого оборудования. Так, кранами, которые поднимают и перемещают объекты различной тяжести, можно будет управлять при помощи жестов.

Оригинал (на англ. языке): LiveScience

• IBM ускоряет обучение ИИ на скорости света при минимальном энергопотреблении
• Учёные впервые визуализировали форму одиночного фотона
• Солнечная система для зарядки электромобилей
• Крупнейший электрический самолёт взлетит в 2025 году
• ДНК-биочернила открывают новые горизонты для 3D-печати кровеносных сосудов
• Исследователи улучшили эффективность и долговечность солнечных элементов
• Тёмная материя: Как камера отслеживает невидимое
• Мягкий, растяжимый электрод имитирует тактильные ощущения с помощью электрических сигналов