Подставляй лицо. Российский студент разработал специфичный способ управления смартфоном

Как это работает

Нейросеть собирает и анализирует электрические сигналы мышц и мозга, распознает движение мышц лица. В приложении человек определяет механику: например, моргнул три раза — музыка выключилась. При этом, чтобы управлять девайсом, его не нужно будет подносить к лицу. Reface поймет, что вы моргнули, и выключит музыку.

Разработку также можно использовать для поддержания здоровья: например, оценивать усталость глаз. И есть функции для организации контроля усталости человека в целом в течение дня.

Моё устройство Reface закрывает три проблемы.

1. Управление компьютером, смартфоном и прочими гаджетами. Сейчас бум голосовых помощников, через которые можно управлять девайсами. При этом для управления чем-то через мой девайс даже говорить ничего не нужно: достаточно поморгать / посмотреть вверх / сделать что-то ещё.

2. Профилактика усталости глаз. Люди часто испытывают симптомы усталости глаз при работе за компьютером. Из-за этого может ухудшаться зрение. Я написал приложение, которое мониторит количество морганий в течение дня и предупреждает пользователя о том, что нужно сделать перерыв.

3. Мониторинг усталости сотрудников. Часто работники слишком сильно устают на работе вследствие неправильного менеджмента. В итоге они выгорают и не могут нормально работать. Я разработал приложение, которое разные организации могут использовать для мониторинга усталости сотрудников в течение дня. Для этого в данный момент используется один маркер: количество морганий (когда человек устал, он моргает реже). Такой маркер используют в «Яндекс.Такси» для выявления уставших водителей.

С чего всё началось

Примерно два года назад я увидел рекламу Muse — это гаджет, который я сейчас использую для прототипа. Muse — это такой тренажер для медитаций. Представляет из себя ободок с сенсорами, которые считывают интенсивность электрического излучения головного мозга.

Импульсы расшифровываются и передаются на смартфон, планшет и т. п. через Bluetooth. Cпециальное приложение оценивает, насколько человеку удаётся контролировать сознание и регулировать своё эмоциональное состояние. Визуально в приложении это выглядит как управление погодой на берегу моря: нужно улучшать метеоусловия, создавая «хорошую погоду» у себя в голове.

Я подумал, что в тех данных, что он снимает с головы, можно найти нечто интересное. Но на тот момент я не знал, что именно.

Полгода я посидел с этой штукой в руках и запилил proof-of-work: черновое приложение, которое определяло, в какой момент я моргнул, в какой момент посмотрел направо-налево и т. д.

Далее я стал дорабатывать продукт. Сделал новый дизайн приложения. Написал серверное ПО для хранения информации о пользователях и софт для автоматического переобучения классификатора на основе изображения с камеры. Ещё написал API (интерфейс программирования приложений, позволяющий сервисам взаимодействовать, получать доступ и обмениваться данными) для сторонних разработчиков, чтобы они могли интегрировать свои приложения с моим, и т. д.

С какими сложностями столкнулись и как их преодолели

Я начал программировать в 11 лет, поэтому написать софт для меня не было проблемой. А вот электроникой на требуемом для разработки реальных девайсов уровне я никогда не занимался. Пришлось учиться на ходу.

Форм-фактор (стандарт, задающий размеры изделия) вызывал ряд вопросов. В любом случае надо было где-то уместить необходимую электронику. Выбора, где это сделать, не особенно много: либо на голове, либо где-то рядом с головой.

Во-первых, потому что никто не хочет ходить с пучком проводов по телу. Во-вторых, потому что, если обрабатывать сигнал где-то далеко от головы, это дополнительные помехи. Поэтому либо на голове, либо на шее.

Muse сам по себе не предназначен для длительного использования.Во-первых, сидеть в таком ободке долго неудобно — он же на лбу. Кроме того, из-за того, что он на лбу, при активных движениях бровями сигнал сбивается. Во-вторых, из-за того, что он так крепится, в процессе ходьбы возникают дополнительные шумы. В-третьих, из-за конструкции (и когда в нём долго сидишь) кожа под ним начинает потеть.

А если это делать на голове, но не в форме обруча, то, во-первых, сигнал бы сильно искажался во время движения головой, потому что центр тяжести у девайса был бы смещён относительно центра головы и устройство бы сильно шевелилось, теряя контакт с кожей. Во-вторых, по сравнению с расположением на шее пришлось бы ставить меньше аккумуляторов, и тогда снизится время автономной работы. В-третьих, эта штука будет не особо приятно ощущаться за головой.

Поэтому я принял решение располагать устройство на шее.

На какой стадии проект сейчас

В данный момент есть полностью рабочий прототип на базе Muse, который работает с приложением Reface на Android. Внутри приложения встроен предобученный классификатор, который определяет мимику. Также есть приложение EyeHealth, следящее за усталостью глаз.

Ещё есть:

1. сервер для синхронизации контента из Reface и EyeHealth (статистика по морганиям, история исполнения команд, статистика организаций и пр.);
2. софт для переобучения классификатора на данных о распознанных жестах и на базе данных изображений с камеры;
3. схема прототипа, модели корпуса;
4. код прошивки микроконтроллера.

Что касается конкуренции, ситуация следующая.

Для управления техникой люди используют голосовые помощники и мимику на основе изображения с камеры. Первое не везде работает (например, не работает в людных местах), а второе хуже моего решения из-за того, что не работает в тёмное время суток. Кроме того, пользователь должен держать телефон в руках, иначе лицо не попадёт в кадр. А если телефон уже в руке, гораздо легче нажать на экран.

Для отслеживания усталости глаз люди используют приложения, которые берут изображение с камеры. Проблемы такие же, как в предыдущем пункте: мимика не распознаётся в темноте, плюс человек обязательно должен смотреть в камеру.

Для отслеживания усталости работников компании используют трекеры морганий и зевков также с использованием камеры. Но эти решения проблемны по тем же причинам.

Как влияет пандемия и кризис

Доставка электронных компонентов по почте задерживается. Из-за кризиса компаниям — потенциальным клиентам будет не до того, чтобы закупать оборудование для снижения выгорания работников.

Про деньги

Я работаю Android-разработчиком, проект делаю полностью на свои деньги. Кроме того, в команде я один, поэтому платить никому не надо. Потратил не так уж и много: 3D-принтер, на котором я печатаю прототипы, обошёлся в 30 000 рублей. Килограммовая катушка пластика, из которой я печатаю корпусы, — примерно 1000 рублей. Цена на всякую электронную начинку разнится от компонента к компоненту, но стоят они всё равно недорого.

У меня есть около 150 предзаказов на девайс. Себестоимость устройства примерно в три раза меньше, чем цена его продажи, — примерно 10 000 рублей. Это усреднённый ответ на вопрос «Сколько вы готовы были бы заплатить за устройство» в соцопросе на сайте. Это что касается B2C (бизнес для потребителя).

Что касается B2B (бизнес для бизнеса), я планирую продавать комплект из нескольких девайсов и предлагать к ним поддержку. Оплата устройств будет единовременная. За поддержку — ежегодная. Цена за комплект будет гораздо ближе к себестоимости, чем при продаже устройств для B2C.

Инвестиции планирую привлекать на следующей стадии, когда я завершу прототип. У меня уже будет готовая версия для продажи на рынке, и надо будет быстро расширяться.

Привлечь инвестиции можно и сейчас, просто обычно на стадии прототипа они дорого обходятся основателю. Если бы я привлекал их сейчас, деньги пошли бы на расширение команды разработки для ускоренной доработки продукта.

Для меня на данном этапе всё сводится к вопросу, сколько готов дать мне инвестор и за какую долю. У проекта большое будущее, и на текущей стадии я оцениваю его дороже, чем ФРИИ (Фонд развития интернет-инициатив) оценивает свои стартапы на входе в программу акселерации.

Думаю, что до падения курса рубля он стоил около 40 млн рублей, после падения — около 55 млн рублей. В любом случае я всегда открыт к предложениям.

О планах

В планах сделать приложения Reface и EyeHealth для iOS. Также дотестировать и собрать итоговый девайс, который можно будет продавать. После этого, предположительно, выйти на краудфаундинг, чтобы оценить спрос на продукт. Одновременно с этим я буду искать инвестора, готового вложиться в разработку и масштабирование.

Инсайты, советы, предостережения

Пожалуй, главный совет: не надо скрывать свою разработку от глаз общественности.

Когда мне было 16 лет, мы с другом делали другой проект. Я в то время сходил на хакатон от правительства Москвы, где придумал оценивать безопасность улиц по количеству установленных на них камер видеонаблюдения. С проектом мы выиграли бесплатную акселерацию в бизнес-инкубаторе, но в итоге из-за того, что я был неопытен, всё закрылось. Неопытность заключалась в том, что я боялся рассказать о продукте миру: думал, что надо дождаться, когда продукт будет идеальным, и уже тогда кому-то его показывать. Но это не так. Не надо ждать такой стадии, она может никогда не наступить.

Вопрос экспертам

Если с двумя первыми юзкейсами всё более-менее понятно в плане применимости, то вот с третьим не до конца: использовали бы вы функцию контроля усталости работников у себя на предприятии? И если бы использовали, сколько готовы были бы за неё отдать?