Нова технологія перетворює жестикуляцію в музику

Некоторие люди говорять за допомогою рук, використовуючи мову жестів. Дослідник з Університету Британської Колумбії вирішив довести, що завдяки сучасним технологіям і можливостям комп'ютерного проектування і моделювання "говорити руками" можна в буквальному сенсі цього виразу.

Сідней Фелс (Sidney Fels) та його науково-дослідна група оснастили пару звичайних рукавичок позіціонно-чутливими сенсорамі, які фіксували руху і видавали певні звуки, коли перебували в трьох вимірах. Різні жести рук виробляли всілякі типи звуків. Наприклад, стисла права долоня сприяла відтворенню приголосних звуків, а розкрита долоня видавала голосні звуки. Тим часом ліва рука виконувала регулювання таких коротких звуків, як, наприклад приголосні звуки B або P (в американському варіанті англійської мови).

Ідея, частково, полягала в дублюванні деяких рухів горла і мови при вимові тих чи інших звуків під час розмови. Голосні є відкритими звуками, які утворюються при відкритому горлі і губах, тому розкриті долоні виробляли такі ж типи звуків.

Для додаткового рівня контролю, права долоня відтворювала високу тональність звуків, перебуваючи в піднятому положенні, і знижувала тональність, набуваючи горизонтальне положення. Подібна технологія також може бути використана для створення музики. Серед колег Фелса, які взяли участь у розробці нового проекту, були професор з музичної школи Університету Британської Колумбії, Роберт Прітчард (Robert Pritchard) і Джонті Вонг (Johnty Wang), фахівець з комп'ютерного проектування і концертний піаніст. Вже було проведено кілька концертів, на яких винахід Фелса було використано в якості музичного інструмента.

Пока ця технологія стала втіленням в життя ідеї створення віртуального музичного інструменту, але професор Фелс переконаний, що його винахід може знайти своє застосування і в такій промисловій галузі, як машинобудування, зокрема в системі переміщення важкого обладнання. Так, кранами, які піднімають і переміщують об'єкти різної тяжкості, можна буде керувати за допомогою жестов.

Орігінал (на англ. Мовою): LiveScience

• IBM ускоряет обучение ИИ на скорости света при минимальном энергопотреблении
• Учёные впервые визуализировали форму одиночного фотона
• Солнечная система для зарядки электромобилей
• Крупнейший электрический самолёт взлетит в 2025 году
• ДНК-биочернила открывают новые горизонты для 3D-печати кровеносных сосудов
• Исследователи улучшили эффективность и долговечность солнечных элементов
• Тёмная материя: Как камера отслеживает невидимое
• Мягкий, растяжимый электрод имитирует тактильные ощущения с помощью электрических сигналов