Ваше грязное белье по $12 в час. Кто и зачем слушает пользователей умных колонок

Секретов больше не осталось
17 декабря 2019 в 22:05

Умные дома и голосовые помощники в телефонах и колонках помогают большим IT-корпорациям подслушивать вас всех. Всегда и везде. Для этого компании создают по всему миру огромные «фермы расшифровки» и прослушивают миллиарды интимных разговоров. А наши беседы тихим шёпотом становятся одними из их самых ценных ресурсов.

Рути Хоуп Слатис не могла поверить в то, что слышала в своих наушниках. Агентство по найму временного персонала неподалёку от Бостона наняло её на странную и малопонятную работу: расшифровывать аудиофайлы для Amazon.com. За $12 в час она и её коллеги, которых именовали сотрудниками по обработке данных, прослушивали фрагменты случайных разговоров и переводили их в тексты.

Рути и её коллегам сказали, что их работа «имела решающее значение для совершенно секретного продукта распознавания речи». Между тем аудиофайлы включали записи интимных моментов жизни пользователей устройств Amazon.

Это было осенью 2014 года. Примерно в то время Amazon представил на рынок умную колонку Echo с Alexa — виртуальной помощницей с голосовым управлением.

В своей рекламе Amazon подал Alexa как чудо искусственного интеллекта: в ролике семья узнавала от голосовой помощницы новости, Alexa помогала детям с домашкой и отвечала на вопросы о всяких пустяках.

Однако вскоре Слатис начала понимать, в какой степени человеческий фактор связан с магией роботов, которую она видела в рекламе. «О боже, так вот над чем я работаю», — вспоминает она.

Reload
1 / 4

Фото: fickr.com/emi moriya

Amazon собирал в облаке каждую голосовую команду и использовал сотрудников, как она, для обучения системы. Сначала Слатис подумала, что она слушала записи, которые люди добровольно отдавали компании в обмен на несколько долларов. Но она поняла, что это не так.

Записи, которые слушала и расшифровывала Слатис и её коллеги, часто были довольно резкими, а порой и очень личными разговорами: одиноко звучащие люди, исповедующие интимные тайны и страхи; мальчик, говорящий о желании кого-то изнасиловать. Программа по расшифровке набирала обороты вместе с ростом популярности Alexa. Увеличивалось и количество личной информации в аудиозаписях. Другие участники проекта вспоминают, что слышали, как дети делились своим домашним адресом и номером телефона, как мужчина заказывал секс-игрушки, как гость на званом ужине размышляет вслух, подглядывает ли за ними Amazon в этот самый момент. «Они не знали, что их слушают, — говорит Слатис. — Люди не давали согласия на такое!»

За пять лет, прошедших с тех пор, как Слатис впервые почувствовала отвращение от прослушки интимных бесед, каждый четвёртый американец стал обладателем умной колонки, будь то Echo, Google Home или Apple HomePod..

Пока что Amazon выигрывает битву, заявляя о продаже более чем 100 млн устройств с Alexa. Но сейчас идёт война между крупнейшими мировыми компаниями, которые вплетают голосовых помощников (Alexa, Apple Siri, Alphabet Google Assistant, Microsoft Cortana и аналогичный сервис Facebook) гораздо глубже в жизни людей.

По оценкам консалтинговой компании Juniper Research Ltd., к 2023 году объёма мирового рынка интеллектуальных динамиков достигнет $11 млрд в год. На планете будет около 7,4 млрд устройств с голосовым управлением — это примерно один девайс на каждого человека.

В чём же проблема?

Производители и разработчики утверждают, что их интеллектуальные колонки записывают звук, только когда устройства включены. Но их микрофоны работают постоянно.

«Факт наличия всегда включённых микрофонов очень важен. Мы обнаружили, что пользователи этих устройств верят, что компании не собираются делать ничего плохого с их записями, — говорит Флориан Шауб, профессор Мичиганского университета, который изучает поведение людей с помощью программного обеспечения для голосовых команд. — Это ползучая эрозия приватности частной жизни. Она просто продолжается и продолжается, и люди не знают, как себя защитить».

Компания Amazon и её конкуренты утверждают, что компьютеры обрабатывают подавляющее большинство голосовых запросов без человеческого вмешательства. Тем не менее так называемые интеллектуальные устройства, несомненно, зависят от тысяч низкооплачиваемых сотрудников, которые комментируют звуковые фрагменты, чтобы технические компании могли модернизировать свои «электронные уши».

Ранее, в 2019 году, Bloomberg первыми сообщил о том, в каких масштабах IT-компании, в том числе Apple, Amazon и Facebook, используют сотрудников для прослушивания личных аудиозаписей пользователей. Многие руководители IT-компаний уверяют, что прослушивание записей — непростое решение. Но проверка аудиофайлов — единственный способ улучшить продукт.

Нынешние и бывшие подрядчики, такие как Слатис, чётко дают понять, что недостатки всепроникающего аудионаблюдения всегда были очевидны. «Мне никогда не казалось это правильным», — говорит расшифровщик, работавший на компанию конкурента Alexa. Как и большинство сотрудников, он подписал соглашение о неразглашении и говорил на условиях анонимности, опасаясь репрессий.

Reload
1 / 4

Фото: fickr.com/Tony Webster

Антисизифов труд

На протяжении нескольких лет IT-компании покупали или создавали огромные библиотеки записей: специально нанятые люди начитывали в микрофоны тексты, которые затем анализировали машины.

Apple стала первой крупной компанией, которая перевернула существующую модель, представив в 2011 году iPhone 4S с голосовым помощником Siri. Писать сценарии диалогов и зачитывать их машине больше не требовалось.

Apple продала более 4 млн iPhone 4S в течение нескольких дней и вскоре начала накапливать неисчислимую массу бесплатных голосовых данных.

В течение первых нескольких лет компания доверяла использовать данные для улучшения возможностей Siri сторонним специалистам. Однако примерно в 2014-м Apple восстановила контроль над процессом. «Работа была очень утомительной: голова начинает болеть уже через полчаса, а то и 15 минут прослушивания пользовательских записей», — говорит Тао Ма, бывший старший речевой специалист Siri. Внутренняя команда отдала большую часть этой работы ИТ-подрядчикам в Европе, включая ирландскую компанию GlobeTech.

За последние несколько лет Apple, обеспокоенная тем, что качество и скорость распознавания Siri отстают от показателей Alexa и Google Assistant, стала ещё более агрессивной в сборе и анализе голосов людей.

Предполагалось, что привлечённые для расшифровки сотрудники будут учитывать различные языки, диалекты и культурные особенности обрабатываемых аудиофайлов. Бывшие же сотрудники описывают систему как нечто, похожее на Вавилонскую башню или мир романа «1984» Джорджа Оруэлла. Они молча сидели в наушниках за макбуками в офисе GlobeTech (находится рядом с аэропортом в ирландском Корке) — им нужно было расшифровывать до 1300 аудиофайлов в день. Каждый из этих 1300 отрывков мог быть одним предложением или целым разговором.

«Ничего приватного»

Программа, которую использовали работники в ирландском офисе, называется CrowdCollect. Её интерфейс имел кнопки, позволяющие пропустить запись по разным причинам: случайный триггер, отсутствие звука, «неправильный» язык — но сотрудники говорят, что не было никакого специального механизма удаления оскорбительного или неподходящего контента. Например, разговоров по пьяни или связанных с сексом.

На вопросы сотрудников о том, могут ли они пропускать слишком приватные разговоры, руководители отвечали: «Ничего приватного нет». От сотрудников ожидали, что они расшифруют всё, что им поступит. Персонал проекта часто работал всего пару месяцев, а их обучение по вопросам конфиденциальности было минимальным.

В 2015 году, когда гендиректор Apple Тим Кук назвал конфиденциальность фундаментальным правом человека, машины Apple обрабатывали более миллиарда запросов в неделю.

К тому времени пользователи могли включить голосового помощника, дважды нажав на кнопку «Домой» на iPhone, а позже — активировать функцию, при которой Siri слушала владельцев постоянно. В дебрях многостраничного пользовательского соглашения Apple сообщала, что «голосовые данные могут быть записаны и проанализированы для улучшения Siri», но нигде не упоминалось, что их будут слушать другие люди.

«Я слышал, как люди занимаются сексом»

Десять бывших руководителей Apple в подразделении Siri заявили, что не видели тогда и не видят сейчас в этом ничего зазорного. По их словам, записи были обезличены и они предполагали, что пользователи понимают, что компания обрабатывает их аудиофайлы.

«Мы чувствовали себя в безопасности с точки зрения эмоций. Чувствовали, что делаем правильное дело, — говорит Джон Берки, который работал в группе передовых разработок Siri до 2016 года. — Это не шпионаж. Это было так: "Этот (запрос Siri) не работает. Давайте исправим это. Так же как в случае сбоя приложения и запроса на экране о том, хотите ли вы отправить отчёт в Apple. Это просто голосовая ошибка».

Разница между этой системой и ошибкой на MacBook заключается в том, что операционная система чётко спрашивает пользователей, хотят ли они отправить отчёт сразу после сбоя. MacOS запрашивает разрешение после каждой ошибки, в то время как Siri требует согласие один раз и на всё сразу.

Apple утверждает, что люди анализируют менее 0,2% запросов Siri, а бывшие менеджеры называют претензии сотрудников «чрезмерными акцентами на простых ошибках». «"О, я слышал, что кто-то занимается сексом" или что-то в этом роде. Вы также слышите, как люди пукают и чихают — когда вы включаете микрофон, возникают все виды шума», — отметил Том Грубер, соучредитель Siri, который возглавлял группу продвинутых разработчиков до 2018 года.

В 2011 году Amazon выпустил умную колонку с семью микрофонами, постоянно готовыми услышать «пробуждающее слово», которое запускает новую запись. Каждая аудиозапись, как и в случае с Apple, поступает на серверы компании, где затем часть их направляется одному из сотен сотрудников для изучения.

В компании тогда понимали, что это может напугать пользователей. Один из первых менеджеров продукта Alexa рассказал, что конструкцию умной колонки сделали так, чтобы успокоить клиентов. Когда пользователь говорит Alexa, вокруг колонки появляется кольцо света, как будто помощница оживает.

Кроме того, разработчики создали онлайн-портал, где пользователи могли проигрывать и удалять свои аудиофайлы. Представитель Amazon утверждает, что стандарты конфиденциальности были встроены в Alexa с самого начала.

Мелкий шрифт, которым написано соглашение, предоставляет Amazon право сохранять и экспериментировать с аудиофайлами. Компания раскрывает немного подробностей о том, что именно происходит с этими данными.

Reload
1 / 3

Фото: fickr.com/Kārlis Dambrāns

Нужно больше данных

«Фермы» расшифровки работают по всему миру. В 2019 году Amazon несколько раз объявлял о найме персонала для расшифровки за рубежом.

Речевой технолог, который потратил десятилетия на разработку систем распознавания речи, говорит, что масштабы анализа аудиоданных Amazon ужасающие. В августе 2019 года Microsoft признал, что люди помогают анализировать голосовые данные пользователей. Аналитики отрасли говорят, что Google и Facebook Inc. также делают ставку на аудиоданные, которые значительно улучшат их гигантский рекламный бизнес. Просмотр статистики о том, что люди ищут и смотрят в Сети, даёт компаниям огромное количество персональной информации о пользователях.

Google, который нанял временных сотрудников для транскрипции аудиофайлов, заявлял, что проверенные записи голоса будут обезличены. Но этим летом сотрудник Google слил в интернет более чем 1000 пользовательских записей. Журналисты смогли выяснить личности некоторых из авторов. Примерно 10% аудиофайлов из этой утечки также были записаны без согласия пользователей, поскольку устройства ошибочно обнаружили фразу активации «ОК, Google».

Представитель Google утверждал: «Поскольку мы слышали о проблемах, мы взяли на себя обязательство приостанавливать расшифровку аудиосигнала Assistant, пока как мы усиливаем контроль за конфиденциальностью». Компания отказалась комментировать, расшифровывают ли люди голосовые данные, полученные из других служб Google.

Каждый пользователь Facebook слышал о том, что компания якобы улучшает таргетинг рекламы, тайно слушая людей. Когда в прошлом году Конгресс США вызвал Цукерберга для дачи показаний, глава Facebook назвал это «теорией заговора».

Тем не менее Facebook также полагался на расшифрованные записи для обучения своего ИИ. Например, на данные из Messenger, который позволяет обмениваться аудиофайлами вместо текстовых сообщений. Компания предложила пользователям возможность автоматически транскрибировать (транскрипция — запись звучания слов и речи буквами) эти голосовые сообщения своим ИИ, но не сказала, что эти записи отправляются подрядчику для «проверки вручную».

Пока гром не грянет

В 2019 году, после того как в прессе появилось много новостей по теме прослушивания пользователей, несколько крупных IT-компаний изменили программы виртуальных помощников.

  • Google приостановил транскрипцию аудиозапросов в Assistant.
  • Apple разрешила удалять историю Siri и отказываться от обмена данными, сделала необязательным совместное использование записей и наняла бывших сотрудников из компаний-подрядчиков напрямую, чтобы усилить контроль над расшифровкой.
  • в политике конфиденциальности Facebook и Microsoft появились более чёткие формулировки в положениях об отказе от ответственности.
  • Amazon также признал, что скрывал факт обработки аудиозаписей вручную и ввел опцию отказа от обработки голосовых команд Alexa.

Легко понять, как недобросовестные организации или компании могут воспользоваться преимуществами вездесущих сетей аудионаблюдения. Палата представителей США рассматривает законопроект об ограничении автоматического подслушивания цифровыми помощниками. Но процесс движется слишком медленно.

По данным опроса, проведённого в июне в Исследовательском центре Пью, большинство американцев обеспокоены практикой сбора данных с использованием интеллектуальных колонок и аналогичных устройств. Тем не менее число голосовых помощников растёт. Некоторые исследователи говорят, что достижения в области вычислительной мощности смартфонов и машинное обучение могут в конечном итоге сделать этот вид подслушивания устаревшим — устройства станут достаточно умными, чтобы разобраться во всём без помощи подрядчиков.

Сейчас, когда нет жёстких законов и негативной реакции большинства потребителей, ряды «слушателей» почти наверняка продолжат расти, чтобы идти в ногу с ростом количества голосовых помощников.

Источник: Bloomberg.com

Фото: shutterstock.com/vostock-photo.online

Поделитесь историей своего бизнеса или расскажите читателям о вашем стартапе