В чём слабость искусственного интеллекта? Гарри Каспаров — о своём противнике

13-й чемпион мира по шахматам Гарри Каспаров не раз проигрывал компьютеру. После первого поражения в 1996 году он обвинил компанию IBM в жульничестве, но потом пересмотрел своё отношение. В любом случае способность обыграть гроссмейстера в шахматы не сделала машину разумной. О том, что — сделает, Каспаров размышляет в новой книге «Человек и компьютер», перевод которой выходит в издательстве «Альпина Паблишер». Публикуем фрагмент.

— Итак, — сказал компьютер, — ответ на Великий Вопрос…

— Ну!

— Жизни, Вселенной и Всего Остального…

— Ну!

— Это... — произнёс компьютер и замолчал.

— Ну!

— Это…

— Ну!!!

— Сорок два, — с бесконечным спокойствием сообщил компьютер.

— Сорок два?! — завопил Лункуал. — И это всё, что ты можешь нам сказать после семи с половиной миллионов лет работы?

— Я убеждён в правильности ответа, — холодно отрезал компьютер. — По правде говоря, — прибавил он, смягчившись, — дело, я думаю, в том, что вы никогда, собственно, не задумывались, в чём состоит этот вопрос.

Как и во всех хороших шутках, в этом разговоре между самым мощным во вселенной компьютером и его создателями из юмористического фантастического романа Дугласа Адамса «Автостопом по галактике» есть немалая доля истины. Мы часто ищем ответы на вопросы, предварительно не убедившись в том, понимаем ли мы сам вопрос или правильно ли он сформулирован. В моих лекциях об отношениях человека и машины я люблю цитировать Пабло Пикассо, который в одном интервью сказал: «Компьютеры бесполезны, поскольку они могут только давать ответы». Ответ подразумевает конец, полную остановку, а для Пикассо не существовало конца, только все новые и новые вопросы. Компьютеры являются отличными инструментами для поиска ответов, но они не умеют задавать вопросы, по крайней мере в том смысле, который в это понятие вкладывают люди.

В 2014 году я услышал интересную мысль по поводу этого утверждения. Меня пригласили выступить в штаб-квартире крупнейшего в мире хеджевого фонда Bridgewater Associates (Коннектикут). Что очень показательно, компания наняла Дейва Ферруччи, одного из разработчиков знаменитого суперкомпьютера Watson IBM, прославившегося своими победами в американской телевикторине Jeopardy. По словам Ферруччи, он был разочарован подходом IBM к искусственному интеллекту, всецело ориентированным на анализ данных, и тем, что компания хотела извлечь выгоду из мощи и славы Watson и превратить его в коммерческий продукт. Сам же Ферруччи хотел исследовать более сложные пути, пытаясь узнать «почему», а не только обнаружить полезные корреляции с помощью анализа данных. Другими словами, он хотел использовать мощь ИИ, чтобы выйти за пределы непосредственных практических результатов и научиться получать результаты, которые выведут нас на новый уровень понимания, а не будут простыми ответами.

Интересно, что Ферруччи решил, что хорошим местом для такого рода амбициозных экспериментальных исследований может стать известная своим инакомыслием Bridgewater Associates, а не IBM, одна из крупнейших в мире технологических компаний. Разумеется, в первую очередь Bridgewater интересовали прогностические и аналитические модели для улучшения её инвестиционных результатов. Компания сочла целесообразным поддержать усилия Ферруччи, чтобы, по его выражению, «создать машину, способную объединить дедуктивные и индуктивные процессы для развития, применения, уточнения и объяснения фундаментальной экономической теории».

Это настоящий Грааль, достойный священного поиска и особенно «объяснения». Даже сильнейшие шахматные программы не могут дать своим блистательным ходам логических обоснований за пределами элементарных тактических вариантов. Они делают сильный ход только лишь потому, что тот получил наивысшую оценку по сравнению с остальными, а не потому, что применяют рассуждения, понятные людям.

Сверхсильные машины, несомненно, полезны для тренировочных партий и проведения анализа, но пытаться учиться у них игре в шахматы — все равно что обучаться алгебре у калькулятора.

Во время моей лекции Ферруччи высказал мысль, которая раскрывает суть проблемы так же хорошо, как вышеприведённые слова Пикассо и Дугласа Адамса. Он заявил: «Компьютеры умеют задавать вопросы. Они просто не знают, какие из них важны». Это утверждение понравилось мне тем, что оно имеет несколько слоёв смысла и каждый из них несёт полезную информацию.

Во-первых, его можно воспринимать буквально. Даже простейшая программа может задать вам запрограммированный вопрос и зафиксировать ответ. Конечно, это не проявление искусственного интеллекта, а простое автоматизированное взаимодействие. Даже если машина говорит человеческим голосом и сопровождает ваши ответы адекватными вопросами, она всего лишь проводит примитивный анализ данных. Такого рода вещи используются функцией помощи в программном обеспечении и на веб-сайтах уже больше десяти лет, хотя и без голосового компонента. Вы вводите свой вопрос или описываете проблему, справочная система или чат- бот выбирает ключевые слова — «сбой», «аудио», «Power Point» и т.д. — и предлагает страницы с соответствующей справочной информацией или задаёт дополнительные вопросы.

Любой, кто пользовался поисковыми системами наподобие Google, знает, как это работает. Большинство людей давно поняли, что нет смысла вводить длинный вопрос «Какой город является столицей штата Вайоминг?» Достаточно набрать «столица Вайоминг», и поиск даст те же результаты при меньших усилиях. Но в устной речи люди предпочитают использовать более естественный язык, чем при печати на компьютере, и говорить полными предложениями. Виртуальные голосовые помощники Siri, Alexa, Ok Google, Cortana и другие постепенно начинают вслушиваться в каждое наше слово, что является одной из причин нынешнего рывка в области социальной робототехники (так называется дисциплина, изучающая особенности взаимодействия людей с технологиями, основанными на искусственном интеллекте). То, как роботы выглядят, звучат и ведут себя, в значитель- ной степени определяет то, как мы решаем их использовать.

Выступая в сентябре 2016 года на конференции по социальной робототехнике в Оксфорде, я познакомился с одним из докладчиков Найджелом Круком и его роботом Арти. Доктор Крук занимается исследованиями в области ИИ и социальной робототехники в Университете Оксфорд Брукс. Он подчёркивает, как важно исследовать особенности использования роботов в общественных местах, поскольку люди в равной степени очарованы роботами и боятся их. Автоматический голос по телефону — это одно, и совсем другое — когда голос исходит от механического существа с лицом и телом. Как бы вы ни относились к роботам, вы должны быть готовы к тому, что их будет становиться всё больше буквально повсюду.

Возвращаясь к тому, могут ли компьютеры задавать вопросы в более глубоком смысле, Ферруччи и другие специалисты в области ИИ работают над созданием более сложных алгоритмов, позволяющих исследовать факторы и причины событий, связанных с изменением данных, а не просто выявлять корреляции для ответа на тривиальные вопросы и поисковые запросы. Но чтобы задавать правильные вопросы, вы должны понимать, что важно, что имеет значение. А для этого нужно знать, какой результат вы хотели бы получить.

Я регулярно говорю о разнице между стратегией и тактикой и о том, почему так важно понимать свои долгосрочные цели, чтобы не путать их с реакциями, возможностями или всего лишь этапами. Это не так просто сделать — даже небольшие компании нуждаются в программных заявлениях и регулярных проверках, позволяющих им убедиться в том, что они движутся в правильном направлении. Приспосабливаться к обстоятельствам необходимо, но если вы все время меняете свою стратегию, значит, у вас попросту нет верной стратегии. Мы, люди, зачастую плохо представляем, чего мы хотим и как этого достичь, поэтому неудивительно, что похожие трудности у нас возникают и с тем, чтобы научить машину видеть бóльшую картину.

Машины сами по себе не знают, какие результаты важны и почему — определить это самостоятельно они могут только, если имеют соответствующие параметры или достаточно информации. Но что для машины имеет значение? Машина определяет нечто как значимое или нет на основании знаний, которые в ней запрограммированы, а знания закладывают в машину не кто иные, как люди. По крайней мере так было на протяжении долгого времени. Но сегодня наши машины начинают удивлять нас не только результатами, но и методами, которые они используют для достижения результатов, а это огромная разница.

Приведу упрощённый пример: традиционная шахматная программа знает правила игры. Она знает, как ходят фигуры и что такое мат. В неё также заложены сведения об относительной стоимости фигур (пешка — единица, ферзь — десять единиц и т.д.) и другие знания, например о мобильности фигур и пешечной структуре. Все, что выходит за рамки правил, классифицируется как знание. Если вы научите машину, что ферзь стоит меньше пешки, она будет жертвовать его без всяких колебаний.

Но что если не заложить в машину никаких знаний? Что если научить её только правилам, а все остальное позволить сделать самой? То есть самой узнать, что ладьи ценнее слонов, что сдвоенные пешки — слабая структура и что открытые линии могут быть полезны. Это даёт возможность не только создать сильную шахматную машину, но и узнать кое-что новое из того, что обнаружит машина и как она это обнаружит.

Именно это сегодня делают системы ИИ, используя такие методы, как генетические алгоритмы и нейронные сети, чтобы, по сути, программировать самих себя. К сожалению, им ещё не удалось превзойти в силе традиционные программы с быстрым поиском, больше полагающиеся на жёстко закодированные человеческие знания. Но причина этого — в самих шахматах, а не в методах. Чем сложнее предмет, тем выше вероятность того, что открытые, самостоятельно созданные алгоритмы превзойдут алгоритмы на основе фиксированных человеческих знаний. Шахматы пока недостаточно сложны для этого, и даже я должен признать, что в жизни не все так просто, как на шахматной доске.

За истекшие 30 лет выяснилось, что моя любимая игра настолько легко поддаётся грубой вычислительной силе, что для победы над человеком машинам совсем не нужно иметь стратегическое мышление. Потребовались колоссальные усилия, чтобы усовершенствовать оценочную функцию Deep Blue и обучить программу дебютам, но, как это ни удручает, появившиеся через несколько лет машины с более мощными процессорами не нуждались ни в том, ни в другом. Хорошо это или плохо, шахматы оказались недостаточно глубокой игрой для того, чтобы подтолкнуть компьютерное сообщество к поиску других решений, помимо скорости, о чём многие сожалели.

В 1989 году два ведущих специалиста в области компьютерных шахмат написали эссе «Наказание за схождение с пути истинного». Они раскритиковали методы, с помощью которых шахматные машины сумели приблизиться к гроссмейстерскому уровню. Одним из авторов был советский учёный Михаил Донской, входивший в число создателей программы «Каисса», победительницы первого чемпионата мира по шахматам среди компьютерных программ. Вторым — Джонатан Шеффер, который вместе со своими коллегами из Университета Альберты в Канаде на протяжении нескольких десятилетий занимался разработкой наиболее передовых игровых машин. Помимо шахматных программ он создал сильную программу для игры в покер и программу Chinook для игры в шашки, которая участвовала в чемпионате мира и стала практически непобедимой.

В своей провокационной статье, опубликованной в авторитетном компьютерном журнале, Донской и Шеффер описали, как на протяжении многих лет компьютерные шахматы все больше отдалялись от ИИ. Они считали, что главной причиной этого разрыва стал ошеломительный успех поискового алгоритма «альфа-бета». Зачем искать что-то ещё, если выигрышный метод уже найден? «К сожалению, эта мощная идея появилась на слишком раннем этапе развития компьютерных шахмат», — утверждали авторы статьи. Поскольку значение имела исключительно победа любой ценой, техническая сторона дела взяла верх над наукой. Распознавание образов, развитие знаний и другие человеческие методы были отброшены, поскольку супербыстрая грубая сила обеспечивала успех.

Для многих это стало большим ударом. Шахматы были важным объектом исследований в психологии и когнитивной науке практически с момента зарождения этих дисциплин. В 1892 году Альфред Бине изучал шахматистов в рамках своего исследования «математических дарований и людей-счётчиков». Его открытия оказали большое влияние на изучение различных видов памяти и умственных способностей. А опи- санные им различия между врожденным талантом и приобретенными знаниями и опытом заложили основы для дальнейших исследований в этой области. «Человек может стать хорошим шахматистом, — написал он. — Но гениальным шахматистом нужно родиться». Вместе со своим коллегой Теодором Симоном Бине разработал первый тест для определения уровня интеллекта человека. В 1946 году работу Бине продолжил голландский психолог Адриан де Грот, протестировавший множество шахматистов. Результаты его исследований показали всю важность когнитивной функции распознавания образов и в значительной степени очистили представление о процессе принятия решений от таинственного феномена человеческой интуиции.

Американский специалист по информатике Джон Маккарти, придумавший в 1956 году термин «искусственный интеллект», назвал шахматы «дрозофилой ИИ», подразумевая ту роль, которую сыграла эта крошечная плодовая мушка в бесчисленном множестве великих научных открытий и экспериментов в области биологии, особенно в генетике. Но к концу 1980-х компьютерное шахматное сообщество практически отказалось от серьёзных экспериментов. В 1990 году создатель Belle Кен Томпсон открыто порекомендовал использовать игру го как более многообещающий инструмент для достижения реального прогресса в исследовании мыслительных способностей машин. В том же году в сборник «Компьютеры, шахматы и познание» был включён целый раздел под названием «Новая дрозофила для исследований ИИ?», посвящённый игре го.

Игра го с её полем 19 на 19 линий и 361 чёрным и белым камнем имеет слишком крупную структуру, чтобы её можно было взломать с помощью грубой силы, и слишком коварна, чтобы её исход могли решить тактические промахи, являющиеся главной причиной проигрыша людей шахматным машинам. В статье 1990-го об игре го как о новой мишени для ИИ команда программистов сообщила, что они отстают от своих шахматных коллег примерно на 20 лет. Эта оценка оказалась удивительно точной. В 2016-м, 19 лет спустя после моего проигрыша Deep Blue, компьютерная система AlphaGo, созданная в рамках финансируемого Google проекта DeepMind, победила сильнейшего в мире игрока в го Ли Седоля. Что намного важнее, задействованные для создания AlphaGo методы, как и предсказывали, были более интересными с точки зрения изучения ИИ, чем все те, что применялись в лучших шахматных машинах. Система использует машинное самообучение и нейронные сети, чтобы самостоятельно повышать свой уровень игры, а также другие продвинутые методики, выходящие за рамки обычного поиска «альфа-бета». Deep Blue стала концом; AlphaGo — только начало.

***

Присущие шахматной игре ограничения были не единственным фундаментальным заблуждением в этом уравнении. Понимание искусственного интеллекта, на которое опиралась компьютерная наука, также оказалось ошибочным. Основные предположения, стоявшие за мечтой Алана Тьюринга об искусственном интеллекте, состояли в том, что человеческий мозг во многом похож на компьютер, поэтому надо создать машину, которая успешно имитирует человеческое поведение. Данная концепция доминировала на протяжении многих поколений учёных-компьютерщиков. Заманчивая аналогия — нейроны как транзисторы, кора как банк памяти и т. д. Но эта красивая метафора не подтверждена никакими биологическими доказательствами и отвлекает нас от фундаментальных различий между человеческим и машинным мышлением.

Чтобы подчеркнуть эти различия, я обычно обращаюсь к таким понятиям, как «понимание» и «цель». Начнём с первого. Чтобы понять фразу, которую человек понимает мгно- венно, машина наподобие Watson должна проанализировать огромное количество информации и тем самым выявить контекст, необходимый для извлечения смысла из услышанного. Простое предложение «Эта собака слишком злая, чтобы впустить» может означать, что вы не можете зайти к соседу, потому что у него живёт свирепый пёс, или что вы не хотите, чтобы у вас в доме появилось животное, угрожающее вашей безопасности. Несмотря на двусмысленность предложения, человек вряд ли неправильно интерпретирует слова собеседника. Контекст делает смысл сказанного очевидным.

Применение контекста — наша естественная способность; это одна из причин, объясняющих, почему человеческий мозг в состоянии обрабатывать такое огромное количество информации, не фокусируясь на ней сознательно. Наш мозг работает в фоновом режиме, без каких-либо заметных усилий с нашей стороны, подобно тому как мы дышим. Зачастую сильный шахматист с первого взгляда на доску понимает, какой ход будет лучшим в той или иной позиции, точно так же, как вы, лишь взглянув на витрину кондитерской, знаете, какое пирожное вам понравится. Конечно, эти бессознательные интуитивные процессы иногда оказываются ошибочными и вы проигрываете партию или покупаете невкусное пирожное, поэтому в следующий раз в аналогичной ситуации вы, вероятно, уделите больше сознательного внимания и времени проверке своей интуиции.

Напротив, искусственному интеллекту необходимо определять контекст для каждого нового фрагмента данных. Чтобы сымитировать понимание, ему необходимо обработать огромное количество информации. Представьте, на какое количество вопросов нужно ответить компьютеру, чтобы понять суть проблемы со «злой собакой». Что такое собака? Это субъект или объект действия — то есть она впускает или ей позволяют зайти? Что значит «впустить»?

Несмотря на все эти сложности даже в простых предложениях, компьютер Watson доказал, что машина может давать точные ответы при наличии достаточного количества релевантных данных, которые она может быстро и грамотно проанализировать. Как и шахматный движок, перебирающий миллиарды позиций для нахождения лучшего хода, языковая машина разбивает язык на значения и вероятности, чтобы сгенерировать понимание и ответ. Чем сильнее повышаются скорость машины, количество и качество данных и чем умнее программный код, тем более точным будет ответ.

Рассуждая о том, умеют ли компьютеры задавать вопросы, можно с иронией упомянуть, что формат телевикторины Jeopardy, в которой Watson победил двух человеческих чемпионов, требует, чтобы участники давали ответы в форме вопросов. Если ведущий говорит: «Эта советская программа выиграла в 1974 году первый чемпионат мира по шахматам среди компьютерных программ», — игрок должен нажать на кнопку и сказать: «Это "Каисса"?» Но это странное правило — простой протокол, никак не влиявший на способность Watson находить ответы среди своих 15 Пбайт памяти.

Тем не менее во многих случаях результат важнее метода, а в результатах машины зачастую превосходят людей. У них нет понимания, но оно и не нужно. Медицинская диагностическая система на основе ИИ может перерыть многолетние массивы данных о пациентах, страдающих раком или сахар- ным диабетом, и выявить взаимосвязь различных характеристик, привычек или симптомов, что позволит эффективнее диагностировать и предотвращать эти заболевания. Разве отсутствие у машины «понимания» того, что она делает, превращает её в менее полезный инструмент? Нет, но проблема понимания важна для тех, кто хочет создать следующее поколение интеллектуальных машин, способных обучаться быстрее, чем мы можем их научить. В конце концов, люди не узнают родной язык по учебникам. До сих пор мы делали так: создавали машину и закладывали в неё строгие правила, благодаря которым она оказывалась в состоянии имитировать человеческую деятельность.

Производительность такой машины была низкой и носила искусственный характер. По мере оптимизации и увеличения скорости производительность повышалась. Теперь мы подошли к следующему этапу, когда программисты ослабляют правила и позволяют машине самой узнать, что к чему, и на основе этого менять или даже игнорировать старые установки. Чтобы освоить какой-либо вид деятельности, нужно уметь применять базовые принципы. Но, чтобы преуспеть, нужно знать, как и когда эти принципы следует нарушить. Это не только теория, но и история моих собственных сражений с шахматными машинами на протяжении двух десятилетий.

Книга предоставлена издательством.

Самые важные новости и лучшие тексты «Секрета фирмы» — в нашем Telegram-канале. Подписывайтесь!