Apple обучила искусственный интеллект распознавать незнакомые рукопожатия на основе EMG‑сигналов

Apple создала модель EMBridge – распознавание жестов по сигналу ЭМГ

Новые исследования компании Apple показали, что их искусственный интеллект EMBridge может определять движения руки только из электрических сигналов мышц (ЭМГ), даже если подобные жесты не встречались в обучающем наборе.

Что такое ЭМГ и где она уже используется

* Электромиография измеряет электрическую активность, возникающую при сокращении мышц.
* В медицине её применяют для диагностики и физиотерапии, а также в протезах конечностей.
* Носимые гаджеты (например, очки Meta Ray‑Ban Display с контроллером Neural Band) используют ЭМГ для управления виртуальной реальностью.

Как обучали EMBridge

1. Данные – исследователи использовали два открытых набора:
* `emg2pose` – сигналы ЭМГ и координаты рук.
* `NinaPro DB2` – аналогичный набор.

2. Два представления – модель сначала обучалась на двух отдельных потоках:
* только ЭМГ‑сигналы;
* только данные о положении руки.

3. Синхронизация – после первичного обучения исследователи “соединили” потоки: компонент, работающий с ЭМГ, учился «понимать» информацию из координатных данных. В итоге EMBridge смог распознавать жесты лишь по сигналу ЭМГ.

Усложнение задачи

* Порезали часть второго потока (координаты) и заставили модель делать выводы только на основе ЭМГ.
* Чтобы не допускать чрезмерных ошибок, оценка предсказаний стала менее строгой: похожие жесты воспринимались как родственные, а не полностью разнородные.
* Такой подход помог «структурировать» пространство признаков и улучшил восстановление позиций рук, которых в обучении не было.

Проверка и результаты

* Модель протестировали на тех же наборах `emg2pose` и `NinaPro`, используя их как бенчмарки.
* EMBridge сохраняет высокую точность даже при использовании только 40 % обучающих данных.

Ограничения

Учёные подчёркивают, что ключевым препятствием остаётся доступ к наборам с парой «ЭМГ + положение руки». Такие данные пока ограничены по объёму и не всегда доступны.