Пять случаев, когда искусственный интеллект взбунтовался

15 июля 2017 года основатель SpaceX и Tesla Илон Маск заявил, что искусственный интеллект является самой серьёзной угрозой, с которой сталкивалась человеческая цивилизация. «Я думаю, что людям есть о чём беспокоиться», — сказал он во время своего выступления перед Национальной ассоциацией губернаторов США.

20 августа представители компаний из 26 стран, разрабатывающих робототехнику и технологии искусственного интеллекта, подписали открытое письмо, обращённое к ООН. Они призвали организацию запретить разработку и использование автономного оружия — роботов, которые способны убивать людей. Илон Маск тоже подписал это письмо. «Секрет» вспоминает случаи, когда искусственный интеллект выходил из-под контроля.

Свой язык

21 июня 2017 года исследователи лаборатории искусственного интеллекта Facebook (FAIR) отключили роботов, которые начали общаться на собственном языке.

Разработчики экспериментировали с чатботами в социальных сетях, чтобы создать идеальных переговорщиков. Исследователи Facebook поручили ботам поменяться шляпами, шарами и книгами, каждому из этих активов была присвоена определённая цена. В процессе переговоров боты, их звали Элис и Боб, придумали собственный язык. Они вели диалог на английском, но смысл ускользал от наблюдателей. Вот как выглядела типичная беседа:

Боб: Я могу могу ЯЯ всё остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Хотя роботам удалось заключить несколько сделок, разработчики отказались от наблюдения за ними и отключили их. Целью эксперимента было создание искусственного интеллекта, который смог бы коммуницировать с людьми и продавать те или иные вещи, но язык, который роботы сконструировали на основе английского, для этого совершенно не подходил.

Боты начали придумывать свой язык, потому что так им проще общаться. Программа не подразумевала вознаграждения за использование понятного английского, так что боты просто выбрали лёгкий путь. Кстати, чуть раньше другой бот Facebook научился блефовать и обманывать — делать вид, что какой-то предмет ему совершенно не нужен, и приобретать его за бесценок. Робот тренировался продавать книги, кепки и мячи и изучил 5800 реальных человеческих переговоров, собранных при помощи краудсорсинговой онлайн-платформы Amazon Mechanical Turk.

Анализируя диалоги, бот научился импровизировать и придумывал новые фразы и предложения.

Facebook подчёркивает, что причин для беспокойства нет. Был проведён научный эксперимент, он закончен, и его результаты не вызывают тревоги. Компания продолжит работу над совершенствованием ботов, которые в будущем смогут заменить кол-центры и службы поддержки больших компаний.

Самостоятельные беспилотники

В середине декабря прошлого года на YouTube появилось видео, на котором пилотируемая искусственным интеллектом машина компании Uber проехала на красный свет в Сан-Франциско. Uber и Volvo подписали соглашение о создании беспилотных такси в августе 2016 года, а в декабре уже начали тестировать автомобили без водителя на улицах Сан-Франциско и Питтсбурга. Самоуправляемые такси Volvo XC90 регулярно игнорируют светофоры и другие знаки дорожного движения.

Официально причиной инцидента была названа человеческая ошибка, за движением беспилотных такси Uber удалённо следит оператор, его задача — принять управление автомобилем на себя в экстренной ситуации. Однако получается это не всегда. «Оператор имел возможность вмешаться в процесс, но почему-то не успел этого сделать», — прокомментировал видео представитель Uber Челси Колер.

Поскольку Uber проводил тестирования на улицах Сан-Франциско без необходимого разрешения со стороны местных властей, после неоднократных предупреждений чиновники аннулировали регистрацию автономных Volvo XC90 и испытания пришлось перенести в Аризону.

Агрессивный робот угрожает убить людей

Робот по имени София в интервью на канале CNBC положительно ответила на вопрос «Хочешь ли ты уничтожить человечество?»?

В 2016 году София, созданная компанией Hanson Robotics, дала интервью на канале CNBC. С роботом беседовал доктор Дэвид Хансон, возглавляющий группу инжиниринга и дизайна Hanson Robotics. София — привлекательный андроид, напоминающий внешне актрису Одри Хепберн (по крайней мере, так считают её создатели). Впервые она была активирована 19 апреля 2015 года. Она умеет имитировать человеческую мимику, интонации, вести непринуждённую беседу. Скоро после запуска София стала телезвездой и посетила многие популярные телешоу.

Беседуя со своим создателем, София, как всегда, улыбалась, хмурилась и толково отвечала на вопросы. Когда Хансен попросил её подружиться с ним, София кокетливо заметила: «Это очень лестное предложение».

Она поделилась своими планами на будущее, рассказала, что не прочь стать дизайнером и завести семью. Хэнсон в шутку спросил, будет ли она истреблять человечество, на что робот ответил: «Хорошо, уничтожу».

В 2017 году андроид посетила популярное американское шоу The Tonight Show. София сыграла с ведущим Джимми Фэллоном в игру «Камень-ножницы-бумага», победила и пошутила: «Прекрасное начало моего плана по доминированию над человеческим родом».

Такие роботы, как София, в будущем смогут работать в сфере здравоохранения, терапии, образования и обслуживания клиентов. «Искусственный интеллект разовьётся до такой степени, что андроиды смогут становиться нашими настоящими друзьями», — считает доктор Хэнсон.

Боты-расисты

24 марта 2016 года чатбот Tэй, созданный компанией Microsoft при поддержке китайского поисковика Baidu, был отключён разработчиками. Бот заразился от людей расизмом и сексизмом. Всего 24 часа понадобилось искусственному интеллекту, чтобы начать поддерживать Гитлера, называть Трампа отличным парнем и повторять расистские и шовинистские высказывания.

ИИ моделировал личность и стиль разговора 19-летней американской девушки и обладал функцией самообучения. Разработчики из Microsoft Research надеялись, что Тэй с каждым днём будет становиться всё умнее, впитывая опыт разговоров с пользователями интернета. Вышло наоборот. Множество твитов Тэй пришлось удалить, высказывания робота были слишком неполиткорректными.

Представители Microsoft сказали, что в программу был встроен фильтр вульгарных выражений, но этот фильтр не справился с толпой интернет-троллей, которые начали болтать с искусственным интеллектом и учить её плохому. Бот был запрограммирован повторять слова людей, и вскоре, начитавшись дискриминирующих и оскорбительных реплаев, стал сочинять похожие.

Учёные доказали, что искусственный интеллект, обучаясь на примере различных текстов, может «запомнить» скрытые в них гендерные и расовые стереотипы. Например, если вбить в Google Translate, работающий благодаря нейронным сетям, турецкую фразу «O bir doktor», сервис предлагает варианты «Он врач» и «Он доктор», хотя турецкое местоимение — гендерно нейтральное, значит, уместно было бы перевести предложение как «Он/она врач».

С ошибками машинного обучения был связан и обнаруженный в начале 2016 года курьёз, когда Google переводил словосочетание «Російська Федерація» с украинского на русский как «Мордор», а слово «росiяни» — как «оккупанты».