Нова технологія перетворює жестикуляцію в музику

Некоторие люди говорять за допомогою рук, використовуючи мову жестів. Дослідник з Університету Британської Колумбії вирішив довести, що завдяки сучасним технологіям і можливостям комп'ютерного проектування і моделювання "говорити руками" можна в буквальному сенсі цього виразу.

Сідней Фелс (Sidney Fels) та його науково-дослідна група оснастили пару звичайних рукавичок позіціонно-чутливими сенсорамі, які фіксували руху і видавали певні звуки, коли перебували в трьох вимірах. Різні жести рук виробляли всілякі типи звуків. Наприклад, стисла права долоня сприяла відтворенню приголосних звуків, а розкрита долоня видавала голосні звуки. Тим часом ліва рука виконувала регулювання таких коротких звуків, як, наприклад приголосні звуки B або P (в американському варіанті англійської мови).

Ідея, частково, полягала в дублюванні деяких рухів горла і мови при вимові тих чи інших звуків під час розмови. Голосні є відкритими звуками, які утворюються при відкритому горлі і губах, тому розкриті долоні виробляли такі ж типи звуків.

Для додаткового рівня контролю, права долоня відтворювала високу тональність звуків, перебуваючи в піднятому положенні, і знижувала тональність, набуваючи горизонтальне положення. Подібна технологія також може бути використана для створення музики. Серед колег Фелса, які взяли участь у розробці нового проекту, були професор з музичної школи Університету Британської Колумбії, Роберт Прітчард (Robert Pritchard) і Джонті Вонг (Johnty Wang), фахівець з комп'ютерного проектування і концертний піаніст. Вже було проведено кілька концертів, на яких винахід Фелса було використано в якості музичного інструмента.

Пока ця технологія стала втіленням в життя ідеї створення віртуального музичного інструменту, але професор Фелс переконаний, що його винахід може знайти своє застосування і в такій промисловій галузі, як машинобудування, зокрема в системі переміщення важкого обладнання. Так, кранами, які піднімають і переміщують об'єкти різної тяжкості, можна буде керувати за допомогою жестов.

Орігінал (на англ. Мовою): LiveScience

• Ученые создали нейросеть из ДНК, способную к обучению
• Инженеры впервые передали квантовые сигналы по стандартному Интернет-протоколу
• Новая версия зонда Neuropixels позволяет записывать активность тысяч нейронов в мозге приматов с беспрецедентной точностью
• Искусственный интеллект научился выявлять рак голосовых связок по звуку голоса
• Сверхзвуковые перелёты могут вернуться в США уже к 2027 году
• Электронный луч против тефлонового мусора: японские учёные нашли способ переработки "вечного" пластика
• Слышишь сигнал — но не видишь машину: скрытая проблема в безопасности электромобилей
• Новые наушники от Anker: шумоподавление, до месяца автономной работы и зарядка для смартфона