Расизм, дискриминация и убийства. Зачем надо контролировать искусственный интеллект

Как стартапы пытаются обуздать технологии
25 октября в 14:37

Разработка оружия с искусственным интеллектом может привести к фатальным последствиям. Неспроста системы машинного обучения называют чёрными ящиками: даже разработчики не знают, что взбредёт им в голову. Но в США появилось несколько компаний, которые научились понимать их мотивы. Рассказываем о стартапах, которые знают, что на уме у искусственного интеллекта.

В январе Лиз О’Салливан — бывший технолог стартапа Clarifai, который занимается искусственным интеллектом, — попросила своего шефа Мэтью Цейлера добавить в контракт с Пентагоном условие об этических ограничениях при использовании ИИ. Ранее журнал Wired писал, что Clarifai работает над неоднозначным проектом по обработке снимков, полученных с помощью дронов.

Что за проект?

Искусственный интеллект помогал определять на спутниковых изображениях Google потенциальные цели для дронов. Против этого проекта протестовали 4000 сотрудников.

Всё, что нужно было О'Салливан, — это гарантии, что компания не будет участвовать в разработке автономного оружия (иными словами, роботов-убийц), которое сможет самостоятельно атаковать и даже убивать людей. Несколько дней спустя состоялось совещание. На нём Цейлер объявил, что компания всё же будет участвовать в разработке автономного оружия с ИИ.

«Я уволилась и проплакала все выходные»,— вспоминает О'Салливан. Но уже в понедельник она отправилась на научную конференцию, посвящённую гласности и открытости при разработке новых технологий. Там женщина познакомилась с Адамом Венчелом, который занимался ИИ в компании Capital One. Разработчики договорились, что нужно открыть отдельный бизнес, который помог бы компаниям следить за изменениями их ИИ.

Безопасность для ИИ

Сейчас О'Салливан и Венчел — соучредители стартапа Arthur, который помогает инженерам контролировать производительность систем машинного обучения. Их главная задача — выявлять ошибки в системах ИИ для принятия решений о выдаче кредитов и инвестиций. Иными словами, это одна из немногих компаний, которые зарабатывают на создании систем безопасности для искусственного интеллекта.

Последнее время специалисты и техногиганты всё чаще бьют тревогу, что с ИИ что-то не так — например, есть проблемы с распознаванием лиц чернокожих людей. Корпорации Microsoft и Google предупреждают инвесторов, что из-за использования разработанных ими систем ИИ можно столкнуться с этическими или юридическими проблемами.

По мнению О'Салливан (теперь она вице-президент по коммерции Arthur), технология ИИ захватывает новые отрасли, среди которых финансы, медицина и госуправление, и для них должны действовать новые методы защиты. «Люди только начинают понимать, какой мощью обладают системы искусственного интеллекта и что нужно использовать эти преимущества со всей ответственностью», — говорит она.

Чёрный ящик

Стартап Arthur занимается машинным обучением, из-за которого на IT-рынке произошёл настоящий бум. ИИ самообучается, и изменения в этом процессе отследить сложно. «Вы как бы заставляете машину писать свой собственный код. Но он не предназначен для того, чтобы люди его анализировали», — рассказывает Лукас Бивальд, гендиректор и основатель стартапа Weights & Biases. Эта компания предлагает инструменты, которые позволяют инженерам наладить ПО с алгоритмами машинного обучения.

Исследователи называют некоторые системы машинного обучения чёрными ящиками — даже их создатели не всегда могут точно описать, как работает ИИ или почему он принял такое решение. Стартапы ещё не решили эту проблему полностью. Но они хотя бы предлагают инструменты, которые помогают визуализировать и проконтролировать процесс работы ПО с алгоритмами машинного обучения.

Надсмотрщик за $20 млн

Технокорпорации, которые прилично вложились в ИИ, создали аналогичные инструменты под собственные нужды. Одну из разработок Facebook — Fairness Flow — используют, чтобы проанализировать, как алгоритмы рекомендации объявлений о работе выбирают людей из разных слоёв общества.

Бивальд отмечает, что у небольших компаний нет ресурсов для создания таких инструментов, поэтому они предпочитают обращаться к сторонним разработчикам. Среди клиентов Weights & Biases — лаборатория Toyota, занимающаяся системами автономного вождения. Она использует ПО для мониторинга и записи систем машинного обучения, пока они обрабатывают новые данные.

По словам Бивальда, эти инструменты помогают легко настраивать систему, делать её более надёжной и оперативно выявлять сбои, которые могут проявиться не сразу. Его стартап привлёк $20 млн.

Среди других клиентов — независимая исследовательская лаборатория OpenAI, которая занимается искусственным интеллектом. Здесь инструменты стартапа используют в программе для роботов — например, для роботизированной руки, которая (не всегда) может собрать кубик Рубика.

Reload
1 / 3

Фото: azure.microsoft.com

Без дискриминации

Инструменты стартапа Arthur используют в других областях: например, помогают компаниям после развёртывания ИИ-инфраструктуры, будь то финансовый трейдинг или онлайн-маркетинг. Они отслеживают, меняется ли производительность системы машинного обучения и не дискриминирует ли система людей по полу или расе.

В 2018 году корпорация IBM запустила подобный инструмент под названием OpenScale. Ручир Пури, главный научный сотрудник IBM Research, говорит, что аудиторы KPMG используют OpenScale в работе с клиентами — так они контролируют системы искусственного интеллекта. Ещё один клиент, US Open, с помощью OpenScale проверял, насколько сбалансированно автоматическая система подбирает участников соревнований из игроков разного пола и ранга.

ИИ для медицины и финансов

Подобные инструменты проверки ИИ предлагает ещё один стартап — Fiddler. Он привлёк $10 млн. Fiddler работает с финансовой информационной компанией S&P Global и частной финансовой компанией Affirm, которая выдаёт потребительские кредиты.

Гендиректор стартапа Arthur Венчел утверждает, что система мониторинга и аудита позволит внедрить ИИ в области, лишь косвенно связанные с информационными технологиями, например здравоохранение.

Он отмечает, что финансовый сектор до сих пор настороженно относится к ИИ. «Многие компании хотели бы внедрить в производство машинное обучение, но они должны знать, что ИИ принимает правильные решения и действует непредвзято», — говорит он.

ИИ для учёных

Стартап Arthur помогает внедрить ИИ в работу археологов. Исследовательский институт Дамбартон-Оукс при Гарвардском университете использует эту технологию в проекте, посвящённом тому, как машинное зрение может ускорить каталогизацию фотографий древней архитектуры в Сирии — стране, которая стала недосягаемой для археологов из-за войны. Программное обеспечение Arthur оставляет комментарии к изображениям, поясняя, почему искусственный интеллект отнёс архитектурный объект к той или иной группе.

Исполнительный директор Дамбартон-Оукс Йота Бацаки говорит, что такие инструменты помогают выявить сильные и слабые стороны программного обеспечения. Кроме того, есть и репутационный эффект: ИИ должен заработать признание в обществе, которое мало что автоматизирует. «Важно оценить, как модель интерпретирует события и как думает строить доверительные отношения с библиотекарями и учёными», — говорит она.

ИИ для военных

Впрочем, Бацаки и соучредители стартапа не считают, что правительства и даже министерства обороны нужно лишить доступа к ИИ. Одним из их первых клиентов были ВВС США. Военные заключили с компанией контракт о разработке инструмента по контролю ИИ для авиабазы Тинкер в Оклахоме.

Программное обеспечение предсказывало проблемы с цепочкой поставок комплектующих для двигателей бомбардировщиков B-52. Проект должен был снизить расходы и задержки.

О'Салливан говорит, что участие в таких проектах допустимо, в отличие от разработки автономного оружия, которое может самостоятельно атаковать и даже убивать людей. Стартап Arthur анализирует, какие последствия может иметь тот или иной проект, и разрабатывает внутренний этический кодекс.

«Случаи использования ИИ в экстремальных ситуациях по-прежнему необходимо жёстко регламентировать или даже их не допускать. У нашего правительства есть масса возможностей, чтобы исправить ситуацию с использованием ИИ, — говорит О'Салливан. — Ограничения помогут мне и другим технарям спокойно работать в этой области».

Источник: Wired.

Фото: shutterstock.com/vostock-photo.online/stock

Поделитесь историей своего бизнеса или расскажите читателям о вашем стартапе