Новая технология превращает жестикуляцию в музыку

Некоторые люди говорят при помощи рук, используя язык жестов. Исследователь из Университета Британской Колумбии решил доказать, что благодаря современным технологиям и возможностям компьютерного проектирования и моделирования "говорить руками" можно в буквальном смысле этого выражения.

Сидней Фелс (Sidney Fels) и его научно-исследовательская группа оснастили пару обычных перчаток позиционно-чувствительными сенсорами, которые фиксировали движения и выдавали определенные звуки, когда находились в трех измерениях. Различные жесты рук производили всевозможные типы звуков. Например, сжатая правая ладонь способствовала воспроизведению согласных звуков, а раскрытая ладонь выдавала гласные звуки. Тем временем левая рука выполняла регулирование таких кратких звуков, как, например согласные звуки B или P (в американском варианте английского языка).

Идея, частично, заключалась в дублировании некоторых движений горла и языка при произношении тех или иных звуков во время разговора. Гласные являются открытыми звуками, которые образуются при открытом горле и губах, поэтому раскрытые ладони производили такие же типы звуков.

Для дополнительного уровня контроля, правая ладонь воспроизводила высокую тональность звуков, находясь в поднятом положении, и снижала тональность, приобретая горизонтальное положение. Подобная технология также может быть использована для создания музыки. Среди коллег Фелса, которые приняли участие в разработке нового проекта, были профессор из музыкальной школы Университета Британской Колумбии, Роберт Притчард (Robert Pritchard) и Джонти Вонг (Johnty Wang), специалист по компьютерному проектированию и концертный пианист. Уже было проведено несколько концертов, на которых изобретение Фелса было использовано в качестве музыкального инструмента.

Пока эта технология стала воплощением в жизнь идеи создания виртуального музыкального инструмента, но профессор Фелс убежден, что его изобретение может найти свое применение и в такой промышленной отрасли, как машиностроение, в частности в системе перемещения тяжелого оборудования. Так, кранами, которые поднимают и перемещают объекты различной тяжести, можно будет управлять при помощи жестов.

Оригинал (на англ. языке): LiveScience

• Пластиковый лед
• Исследования показывают, что захват углерода дороже, чем переход на возобновляемые источники энергии
• Саудовской Аравии продолжает расти, страна ставит большие ставки на искусственный интеллект
• Новинка — наушники с обворачивающим дизайном для качественного звучания
• Если какой-либо ИИ станет «несоответствующим», система скроет это настолько долго, чтобы нанести вред — управление им — это заблуждение
• Модульный дизайн робота использует привязанные прыжки для исследования планет
• Воздушный робот может безопасно ориентироваться в незнакомых условиях на высоких скоростях
• Закрученный свет: лампа Эдисона снова обрела смысл