Последняя книга знаменитого американского дипломата и геополитика Генри Киссинджера посвящена необычной для него, но очень актуальной для всего мира теме: драматическим изменениям, которые несет человеческому сообществу искусственный интеллект. Соавторами Киссинджера выступают два авторитетных эксперта в сфере ИИ: Эрик Шмидт и Дэниел Хаттенлокер. У этой троицы получилось вполне алармистское послание государственным деятелям всего мира, призванное обратить их внимание на риски, связанные с быстрым и бесконтрольным развитием нейросетей, и предпринять усилия к тому, чтобы ограничить темпы и охват изменений, которые такое развитие несет. С учетом авторитета Киссинджера и его соавторов можно было бы надеяться, что это послание возымеет результат, но… оставь надежды, всяк сюда входящий! В эпоху «сражающихся царств» международные договоренности об ограничении гонки ИИ-вооружений не имеют шанса на достижение. А значит, нам, скорее всего, предстоит увидеть, как самые мрачные пророчества относительно последствий распространения ИИ воплотятся в жизнь. Но и это уже немало: предупрежден — значит вооружен!
Итак, воздействие ИИ на нас «будет прорывным. Нас ждут такие изменения человеческой идентичности и человеческого восприятия реальности, каких в современном мире еще не случалось». В качестве первых примеров революционных изменений приводятся два конкретных случая. В 2017 году программа ИИ AlphaZero победила самую мощную в мире шахматную программу Stockfish. В чем революция? В том, что победитель обязан своим успехом не огромной вычислительной мощности, позволявшей быстро перебирать множество вариантов ходов, а новой способности — самообучению. «Потренировавшись в игре против себя самой всего четыре часа, AlphaZero стала лучшим в мире игроком в шахматы». В 2020 году ИИ, разработанный в МТИ, открыл новый антибиотик — халицин, способный убивать штаммы бактерий, устойчивые ко всем известным антибиотикам. До сих пор неизвестно, как именно и почему халицин работает, но он работает! Это произошло потому, что ИИ «обнаружил аспекты реальности, которых люди ранее не видели, а может быть, и не могли бы увидеть».
Примеры можно множить, но вывод понятен: мы столкнулись с новым типом разума, доселе нам неизвестным. «Исключительно редко появляются технологии, способные бросить вызов картине мира в целом. Но сегодня ИИ обещает радикально изменить все аспекты человеческого опыта». И распространением мыслящих машин «человеческий разум отчасти уступает ведущую позицию». Мыслю, следовательно, существую — установил Декарт. Но если теперь «ИИ мыслит, то кто тогда мы?» — спрашивают авторы книги. И отвечают: «Благодаря ИИ машины будут превращаться из наших инструментов в наших партнеров», и это перевернет весь наш мир. Скажем, в политике ИИ возьмут на себя «разработку политических сообщений, адаптацию и пропаганду этих сообщений среди различных групп населения, создание и распространение дезинформации... разработку и развертывание алгоритмов для обнаружения… дезинформации». Все это способно «изменить перспективы демократии и даже самой свободы воли», ведь даже сами люди — разработчики ИИ не знают и не понимают, почему он действует именно так, а не иначе. В лучшем случае они могут только в самых общих чертах предположить причины его решений.
Еще опаснее все связанное с войной. Быстрое развитие ИИ приведет к тому, что он будет формировать военную стратегию и тактику. Это разрушит «традиционные концепции обороны и сдерживания, а также законы войны в целом». Представим, что военно-стратегический ИИ предложит главнокомандующему одной из сторон, к примеру, ирано-израильского конфликта «пожертвовать значительным числом сограждан, чтобы спасти (по расчетам ИИ) еще больше людей». Какое решение придется принимать главкому? А что, если предложенное решение окажется ошибочным — кто ответит за его реализацию? Мы не в состоянии понять логику отдельных решений ИИ, но во многих случаях она действительно оказывается более эффективной, чем человеческая. Добавим фактор дефицита времени на принятие решений в экстремальных ситуациях. Наконец, нельзя не учитывать фактор использования ИИ вашим противником: что, если вы пренебрежете кажущимися вам странными или опасными рекомендациями собственного ИИ, а он, напротив, воспользуется ими? «Если он пойдет на жертву, а мы нет, потерпим ли мы поражение?»
Для дипломатии же ИИ-прорыв чреват ростом разногласий и взаимонепонимания. «Если разные группы или государства используют разные ИИ, их способы восприятия реальности могут разойтись в непредсказуемых направлениях». В результате эта технология «со временем может стать причиной тотального отчуждения стран и народов». Можно ли остановить гонку ИИ? Ответ отрицательный! «Как только производительность ИИ… превзойдет человеческую, отказ от применения ИИ хотя бы в качестве дополнения к человеку будет восприниматься как признак недальновидности, халатности и даже саботажа».
Что такого уж опасного для человека в ИИ, спросите вы? Сразу два свойства, отвечают авторы. «Во-первых, ИИ может действовать так, как мы его инструктировали, но при этом приводить к результатам, которых мы не предвидели. ИИ динамичен, он может завести человечество не туда, куда ожидали». Во-вторых, ИИ обладает эмерджентностью, он «может быть непредсказуемым, его действия могут стать полной неожиданностью». Мы продолжаем ставить ему задачи, но по мере обретения все новых степеней свободы «он будет выбирать все более неожиданные или тревожащие пути достижения результатов».
Итак, ИИ открывает нам принципиально новые горизонты, приближая ранее недостижимые цели, но… «это происходит за счет изменения отношений человека с разумом и реальностью, а существующие философские концепции и общественные институты никак не подготовили нас к этой революции». Авторы проводят аналогию с революцией книгопечатания в XV веке, за которой последовали Реформация, религиозные войны и крах средневекового мира. В нашем случае ИИ, разрабатываемый людьми, использует собственную логику, которая только кажется похожей на человеческую. Скоро «независимое применение человеческого разума может отойти на второй план». ИИ будет «невидимым вездесущим и встроенным в обыденность, тонко приспосабливающим нашу реальность к нам так, чтобы у нас это не вызвало протеста».
Усиливая нас, ИИ одновременно нас же и ослабляет. «Социальные сети лишают человека пространства для размышлений, поиск в интернете отменяет потребность в организации знаний, а ИИ усиливает обе эти тенденции». Время на внимательное чтение и глубокий анализ сокращается, мотивация к размышлению падает, все расширяющаяся цифровая среда наращивает свою способность развлекать и отвлекать нас от по-настоящему важных вопросов. Кто же будет их решать за нас? Вопрос риторический! Дополненный и ослабленный ИИ человеческий разум передоверит их... ИИ же! Более того, неизбежно будут люди, которые с радостью согласятся рассматривать суждения ИИ как непогрешимые, даже божественные. Может возникнуть новая глобальная религия с ИИ в роли прорицателя.
Конечно, найдутся и те, кто наложит для себя запрет на использование ИИ, но их будет немного. «Отказ от ИИ на уровне цивилизации будет, скорее всего, невозможен». А значит, политикам следует усилить контроль за его развитием. Для начала — разработать этический кодекс эпохи ИИ. В нем следует определить, при каких условиях и в каких ситуациях человеку нужно будет ограничить воздействие ИИ; в каких — сотрудничать с ИИ; в каких — отступить перед ним. Если такой кодекс будет разработан и принят на международном уровне, появится хоть какое-то сдерживающее средство для национальных правительств, которые в ином случае будут абсолютно свободны в принятии решений. А значит, кто-то из них обязательно ошибется и спровоцирует глобальный хаос и третью мировую войну! Ведь международная конкуренция вынуждает нас внедрять ИИ, не имея времени на оценку рисков или пренебрегая ими. А значит, если пустить все на самотек, риски глобальной дестабилизации резко вырастут!
ИИ, повторяют Киссинджер со товарищи, «не должен работать автоматически, ему не следует позволять предпринимать необратимые действия без наблюдения, мониторинга или прямого контроля со стороны человека. Созданный людьми, ИИ должен контролироваться людьми». Развитие ИИ идет непрерывно, его разработчики не задумываются об исторических последствиях своих изобретений. «Эпохе ИИ нужны новые Декарт и Кант, чтобы объяснить происходящее и предсказать его последствия», но этих декартов и кантов, увы, пока не видно, а значит… show must go on! И оно продолжается, хотя существующие принципы и этика управления, применяемые в человеческих сообществах, больше не могут эффективно работать в эпоху ИИ — хотя бы потому, что у ИИ «нет морали, воли и чувства вины».
Негативное воздействие быстрого прогресса ИИ очевиднее всего в случае глобальных сетевых платформ, где уже сейчас проходит «большая часть нашей социальной и политической жизни». Без ИИ мы уже не можем представить эти платформы, но «одностороннее, непрозрачное продвижение контента и отдельных людей — это тоже результат работы ИИ». А кто-нибудь вообще задумывается о влиянии таких — уже не контролируемых человеком! — процессов на нашу политическую и социальную жизнь? Кто-нибудь беспокоится по поводу того, что в процессе поиска информации «ИИ создает для нас ту картину мира, которую мы предпочитаем. Наши когнитивные предубеждения порождают “эхо”, которое усиливается благодаря ИИ — и в конечном счете создает дезинформацию и способствует ее распространению». А мы уверены, что в результате сетевые платформы не приведут к такой поляризации мира, какой не было со времен холодной войны?
Итак, в нашем и без того сломанном мире «ИИ создает еще один возможный источник заблуждений и ошибок». А значит, великим державам придется вступить в диалог с главной целью: предотвратить глобальную катастрофу. Все как всегда: «сегодня мы уже разработали новые технологии, но у нас все еще нет соответствующей руководящей философии». Технологии и философию надо привести в соответствие, иначе Хиросима и Нагасаки покажутся цветочками по сравнению с тем, что человечество, вооруженное ИИ, сотворит с собой!