Исследователи использовали ИИ, чтобы из обычных смарт‑часов сделать прибор для точного измерения движений руки

Новые часы‑помощники от Корнельского университета и KAIST

Учёные из Корнельского университета (США) и Корейского института передовых технологий (KAIST) создали систему WatchHand, которая превращает обычные умные часы в полноценный трекер движений руки. Система использует только встроенный динамик и микрофон часов, не требуя внешних датчиков.

Как работает WatchHand

1. Акустический сигнал – часы излучают неслышимые звуковые волны.
2. Эхо‑получение – микрофон фиксирует отражённые сигналы и формирует эхо‑профиль.
3. Обработка на устройстве – алгоритм машинного обучения, работающий локально, преобразует профиль в координаты руки по трем осям.

Таким образом, система обрабатывает данные прямо на часах, что обеспечивает конфиденциальность и минимальную задержку.

Преимущества

Тестирование

- Участники – 40 человек.
- Данные – около 36 часов жестов, собранных в четырёх независимых экспериментах.
- Платформы – несколько моделей умных часов.
- Сценарии – различные положения руки и шумные условия.

Результаты показали надёжное отслеживание движений пальцев и вращения запястья даже в сложных условиях.

Перспективы применения

* Управление компьютером и приложениями через жесты.
* Взаимодействие с AR/VR‑системами.
* Помощь людям с ограниченной подвижностью или речью.

Аспирант KAIST Дживан Ким отмечает: «Если устройство имеет динамик и микрофон, наш подход применим».

Ограничения и будущее

* На данный момент работает только на Android‑устройствах.
* Точность снижается при движении пользователя (например, во время ходьбы).

Команда активно разрабатывает улучшения для мобильных сценариев.

Результаты исследования будут представлены на конференции ACM CHI 2026 по человеческому фактору в вычислительных системах.

Ключевая идея

Доцент Корнельского университета Ченг Чжан подытожил: «WatchHand демонстрирует, как простое программное обновление может превратить миллионы существующих часов в интеллектуальные платформы для отслеживания поведения. Это открывает путь к новым способам взаимодействия с цифровыми устройствами без клавиатур и мышей».