06 апреля 2020 в 21:17
История пользователя

Подставляй лицо. Российский студент разработал специфичный способ управления смартфоном

Я разработал устройство Reface для управления смартфоном мимикой. Устройство по форме повторяет спортивные наушники и передаёт данные о мозговой активности в приложение на смартфоне.
Подставляй лицо. Российский студент разработал специфичный способ управления смартфоном
Статью прислал наш читатель
Денис Шилов
основатель проекта Reface
Станьте автором «СФ», поделитесь своей историей!
Напишите нам

Как это работает

Нейросеть собирает и анализирует электрические сигналы мышц и мозга, распознает движение мышц лица. В приложении человек определяет механику: например, моргнул три раза — музыка выключилась. При этом, чтобы управлять девайсом, его не нужно будет подносить к лицу. Reface поймет, что вы моргнули, и выключит музыку.

Разработку также можно использовать для поддержания здоровья: например, оценивать усталость глаз. И есть функции для организации контроля усталости человека в целом в течение дня.

Моё устройство Reface закрывает три проблемы.

  1. Управление компьютером, смартфоном и прочими гаджетами. Сейчас бум голосовых помощников, через которые можно управлять девайсами. При этом для управления чем-то через мой девайс даже говорить ничего не нужно: достаточно поморгать / посмотреть вверх / сделать что-то ещё.

  2. Профилактика усталости глаз. Люди часто испытывают симптомы усталости глаз при работе за компьютером. Из-за этого может ухудшаться зрение. Я написал приложение, которое мониторит количество морганий в течение дня и предупреждает пользователя о том, что нужно сделать перерыв.

  3. Мониторинг усталости сотрудников. Часто работники слишком сильно устают на работе вследствие неправильного менеджмента. В итоге они выгорают и не могут нормально работать. Я разработал приложение, которое разные организации могут использовать для мониторинга усталости сотрудников в течение дня. Для этого в данный момент используется один маркер: количество морганий (когда человек устал, он моргает реже). Такой маркер используют в «Яндекс.Такси» для выявления уставших водителей.

С чего всё началось

Примерно два года назад я увидел рекламу Muse — это гаджет, который я сейчас использую для прототипа. Muse — это такой тренажер для медитаций. Представляет из себя ободок с сенсорами, которые считывают интенсивность электрического излучения головного мозга.

Импульсы расшифровываются и передаются на смартфон, планшет и т. п. через Bluetooth. Cпециальное приложение оценивает, насколько человеку удаётся контролировать сознание и регулировать своё эмоциональное состояние. Визуально в приложении это выглядит как управление погодой на берегу моря: нужно улучшать метеоусловия, создавая «хорошую погоду» у себя в голове.

Я подумал, что в тех данных, что он снимает с головы, можно найти нечто интересное. Но на тот момент я не знал, что именно.

Полгода я посидел с этой штукой в руках и запилил proof-of-work: черновое приложение, которое определяло, в какой момент я моргнул, в какой момент посмотрел направо-налево и т. д.

Далее я стал дорабатывать продукт. Сделал новый дизайн приложения. Написал серверное ПО для хранения информации о пользователях и софт для автоматического переобучения классификатора на основе изображения с камеры. Ещё написал API (интерфейс программирования приложений, позволяющий сервисам взаимодействовать, получать доступ и обмениваться данными) для сторонних разработчиков, чтобы они могли интегрировать свои приложения с моим, и т. д.

Подставляй лицо. Российский студент разработал специфичный способ управления смартфоном

Фото: Reface

С какими сложностями столкнулись и как их преодолели

Я начал программировать в 11 лет, поэтому написать софт для меня не было проблемой. А вот электроникой на требуемом для разработки реальных девайсов уровне я никогда не занимался. Пришлось учиться на ходу.

Форм-фактор (стандарт, задающий размеры изделия) вызывал ряд вопросов. В любом случае надо было где-то уместить необходимую электронику. Выбора, где это сделать, не особенно много: либо на голове, либо где-то рядом с головой.

Во-первых, потому что никто не хочет ходить с пучком проводов по телу. Во-вторых, потому что, если обрабатывать сигнал где-то далеко от головы, это дополнительные помехи. Поэтому либо на голове, либо на шее.

Muse headband

Muse headband

Фото: Muse

Muse сам по себе не предназначен для длительного использования.Во-первых, сидеть в таком ободке долго неудобно — он же на лбу. Кроме того, из-за того, что он на лбу, при активных движениях бровями сигнал сбивается. Во-вторых, из-за того, что он так крепится, в процессе ходьбы возникают дополнительные шумы. В-третьих, из-за конструкции (и когда в нём долго сидишь) кожа под ним начинает потеть.

А если это делать на голове, но не в форме обруча, то, во-первых, сигнал бы сильно искажался во время движения головой, потому что центр тяжести у девайса был бы смещён относительно центра головы и устройство бы сильно шевелилось, теряя контакт с кожей. Во-вторых, по сравнению с расположением на шее пришлось бы ставить меньше аккумуляторов, и тогда снизится время автономной работы. В-третьих, эта штука будет не особо приятно ощущаться за головой.

Поэтому я принял решение располагать устройство на шее.

На какой стадии проект сейчас

В данный момент есть полностью рабочий прототип на базе Muse, который работает с приложением Reface на Android. Внутри приложения встроен предобученный классификатор, который определяет мимику. Также есть приложение EyeHealth, следящее за усталостью глаз.

Ещё есть: 1. сервер для синхронизации контента из Reface и EyeHealth (статистика по морганиям, история исполнения команд, статистика организаций и пр.); 2. софт для переобучения классификатора на данных о распознанных жестах и на базе данных изображений с камеры; 4. схема прототипа, модели корпуса; 5. код прошивки микроконтроллера.

Что касается конкуренции, ситуация следующая.

Для управления техникой люди используют голосовые помощники и мимику на основе изображения с камеры. Первое не везде работает (например, не работает в людных местах), а второе хуже моего решения из-за того, что не работает в тёмное время суток. Кроме того, пользователь должен держать телефон в руках, иначе лицо не попадёт в кадр. А если телефон уже в руке, гораздо легче нажать на экран.

Для отслеживания усталости глаз люди используют приложения, которые берут изображение с камеры. Проблемы такие же, как в предыдущем пункте: мимика не распознаётся в темноте, плюс человек обязательно должен смотреть в камеру.

Для отслеживания усталости работников компании используют трекеры морганий и зевков также с использованием камеры. Но эти решения проблемны по тем же причинам.

Как влияет пандемия и кризис

Доставка электронных компонентов по почте задерживается. Из-за кризиса компаниям — потенциальным клиентам будет не до того, чтобы закупать оборудование для снижения выгорания работников.

Про деньги

Я работаю Android-разработчиком, проект делаю полностью на свои деньги. Кроме того, в команде я один, поэтому платить никому не надо. Потратил не так уж и много: 3D-принтер, на котором я печатаю прототипы, обошёлся в 30 000 рублей. Килограммовая катушка пластика, из которой я печатаю корпусы, — примерно 1000 рублей. Цена на всякую электронную начинку разнится от компонента к компоненту, но стоят они всё равно недорого.

У меня есть около 150 предзаказов на девайс. Себестоимость устройства примерно в три раза меньше, чем цена его продажи, — примерно 10 000 рублей. Это усреднённый ответ на вопрос «Сколько вы готовы были бы заплатить за устройство» в соцопросе на сайте. Это что касается B2C (бизнес для потребителя).

Что касается B2B (бизнес для бизнеса), я планирую продавать комплект из нескольких девайсов и предлагать к ним поддержку. Оплата устройств будет единовременная. За поддержку — ежегодная. Цена за комплект будет гораздо ближе к себестоимости, чем при продаже устройств для B2C.

Инвестиции планирую привлекать на следующей стадии, когда я завершу прототип. У меня уже будет готовая версия для продажи на рынке, и надо будет быстро расширяться.

Привлечь инвестиции можно и сейчас, просто обычно на стадии прототипа они дорого обходятся основателю. Если бы я привлекал их сейчас, деньги пошли бы на расширение команды разработки для ускоренной доработки продукта.

Для меня на данном этапе всё сводится к вопросу, сколько готов дать мне инвестор и за какую долю. У проекта большое будущее, и на текущей стадии я оцениваю его дороже, чем ФРИИ (Фонд развития интернет-инициатив) оценивает свои стартапы на входе в программу акселерации.

Думаю, что до падения курса рубля он стоил около 40 млн рублей, после падения — около 55 млн рублей. В любом случае я всегда открыт к предложениям.

О планах

В планах сделать приложения Reface и EyeHealth для iOS. Также дотестировать и собрать итоговый девайс, который можно будет продавать. После этого, предположительно, выйти на краудфаундинг, чтобы оценить спрос на продукт. Одновременно с этим я буду искать инвестора, готового вложиться в разработку и масштабирование.

Инсайты, советы, предостережения

Пожалуй, главный совет: не надо скрывать свою разработку от глаз общественности.

Когда мне было 16 лет, мы с другом делали другой проект. Я в то время сходил на хакатон от правительства Москвы, где придумал оценивать безопасность улиц по количеству установленных на них камер видеонаблюдения. С проектом мы выиграли бесплатную акселерацию в бизнес-инкубаторе, но в итоге из-за того, что я был неопытен, всё закрылось. Неопытность заключалась в том, что я боялся рассказать о продукте миру: думал, что надо дождаться, когда продукт будет идеальным, и уже тогда кому-то его показывать. Но это не так. Не надо ждать такой стадии, она может никогда не наступить.

Вопрос экспертам

Если с двумя первыми юзкейсами всё более-менее понятно в плане применимости, то вот с третьим не до конца: использовали бы вы функцию контроля усталости работников у себя на предприятии? И если бы использовали, сколько готовы были бы за неё отдать?

Поделитесь историей своего бизнеса или расскажите читателям о вашем стартапе