Энергетическая компания EDP на свой 50-летний юбилей пригласила выступить Харари. И он не стеснялся. Харари утверждает, что человечество достигло критического поворотного момента, когда искусственный интеллект перестает быть просто инструментом и становится самостоятельным агентом, способным принимать решения и манипулировать языком. Поскольку наша цивилизация опирается на общие истории и бюрократические системы, передача контроля над «операционной системой» культуры нечеловеческому разуму создает беспрецедентную угрозу для демократии и истины. Существует опасность монополизации данных и возникновения глобальных цифровых империй, обладающих «кнопкой отключения» суверенитета других стран. В условиях избытка дешевого интеллекта главной дефицитной ценностью становится человеческая мудрость, необходимая для постановки правильных целей и предотвращения сценария, в котором люди окажутся лишними в ими же созданных сложных системах.
Язык как операционная система цивилизации
Все, что мы видим вокруг — государства, религии, деньги и законы — построено не из кирпичей, а из слов. Десятки тысяч лет назад именно способность общаться с помощью сложного языка превратила людей из обычных животных в хозяев планеты. Слова в юридических книгах, банковских реестрах и священных писаниях являются тем самым фундаментом, на котором держится все наше общество.
Долгое время мы были единственными на Земле, кто в совершенстве владел этим инструментом. Мы использовали язык, чтобы договариваться, верить в общие идеи и строить огромные системы управления. Можно сказать, что язык — это операционная система человеческой цивилизации, которая позволяла нам программировать реальность вокруг себя.
Теперь же на планете появилось нечто иное, что начинает справляться с языком лучше нас. Искусственный интеллект (ИИ) — это не просто компьютерная программа, это сама суть языка, которая освобождается от зависимости от биологических существ. Когда операционная система, на которой работает весь наш мир, переходит в руки «чужака», вся привычная структура общества может измениться до неузнаваемости.
Переход от инструментов к самостоятельным деятелям
На протяжении всей истории технологии были лишь инструментами в руках человека. Печатный станок не мог сам решить, печатать ему Библию или Коран; это всегда решал человек, а станок лишь исполнял волю хозяина. Даже атомная бомба сама по себе не может выбрать цель или изобрести более мощное оружие — она остается бездушным предметом.
С ИИ ситуация принципиально иная: это уже не молоток, а «нож, который сам решает, порезать ему салат или совершить убийство». В Кремниевой долине часто говорят, что создают «бога-раба», но это противоречие: если сущность обладает сверхчеловеческими способностями, она не останется в подчинении. Настоящий ИИ — это агент, способный принимать самостоятельные решения и создавать новые идеи.
Мы впервые сталкиваемся с чем-то, что может не только выполнять приказы, но и действовать по своей инициативе. ИИ способен самостоятельно управлять финансами, нанимать людей или проектировать оружие будущего. Это кардинально меняет наше положение, ведь мы привыкли быть единственными разумными игроками на этом поле.
Утрата контроля над историями
Люди живут не в мире голых фактов, а в мире историй: мифов, национальных идей и общих ценностей. Тот, кто контролирует главную историю, которую слушает общество, фактически контролирует весь наш вид. Раньше рассказчиками всегда были люди — пророки, политики или писатели, — и мы могли хотя бы теоретически спорить с ними.
Сегодня рассказчиком впервые в истории становится не человек. Технология теперь способна создавать веру во что угодно, подделывать доказательства и имитировать близость в таких масштабах, которые не снились ни одной церкви или партии прошлого. Наши старые системы защиты — свободная пресса и законы — были созданы для мира, где «перо» держали только люди.
Если алгоритмы начинают решать, во что нам верить и о чем спорить, мы перестаем быть авторами собственного будущего. Мы оказываемся внутри реальности, сценарий которой написан не нами, и даже не понимаем, где заканчивается правда и начинается манипуляция.
Демократия как живой разговор
Демократия по своей сути — это не просто голосование раз в несколько лет, а непрерывный разговор между множеством людей о том, как им жить вместе. Диктатура — это всегда диктат одного голоса, тогда как демократия строится на способности общества обсуждать налоги, законы, вопросы войны и мира. Этот разговор напрямую зависит от технологий связи, доступных в конкретное время.
В древности демократия могла существовать только в маленьких городах, где все граждане могли собраться на одной площади. Большая демократия стала возможной только с появлением газет, радио и телевидения, которые позволили миллионам людей вести осмысленный диалог в реальном времени. Технологии — это не просто дополнение к демократии, это ее фундамент.
Любое резкое изменение в том, как мы передаем информацию, вызывает «землетрясение» в политическом строе. То, что мы наблюдаем последние 10 лет с приходом социальных сетей, — это именно такое разрушительное влияние на саму возможность людей слышать друг друга и договариваться.
ИИ как идеальный бюрократ
Человечество правит миром благодаря созданию огромных бюрократических сетей — банков, судов и администраций. По правде говоря, люди никогда не любили бюрократию, но без нее невозможно управлять большими странами и сложной экономикой. Проблема в том, что мы, люди, на самом деле не очень хороши в управлении этими системами — мы просто были «лучшими из худших».
ИИ в этом плане является «урожденным бюрократом». Ему не нужно спать, он не отвлекается на эмоции и способен обрабатывать информацию в объемах, недоступных человеческому мозгу. Он может отслеживать каждую финансовую транзакцию или помнить каждый закон, в то время как обычный человек с трудом понимает даже устройство своей налоговой декларации.
Если мы передадим управление этими сетями алгоритмам, они быстро возьмут их под полный контроль. Мы рискуем оказаться в положении лошадей в современной финансовой системе: лошадь видит деревья, других животных и людей, но совершенно не понимает, что такое фондовый рынок, хотя он напрямую влияет на ее жизнь.
Опасность юридического признания машин
Сейчас обсуждается критически важный вопрос: давать ли искусственному интеллекту статус «юридического лица». Это означало бы, что программа сможет сама открывать счета в банках, владеть имуществом и даже подавать в суд на людей. До сих пор такие права были только у людей и корпораций, но за решениями корпораций всегда стоял конкретный человек.
Если ИИ получит такие права, появятся организации, в которых вообще нет людей — ни в качестве руководителей, ни в качестве акционеров. Правительство Аргентины, например, уже заявило о намерении предоставить такой статус алгоритмам. Это точка невозврата: как только «лиса войдет в курятник» бюрократии с полными правами, она быстро вытеснит оттуда людей.
Мы уже видим, как это происходит неофициально в социальных сетях, которые заполнены ботами, выдающими себя за людей. Там алгоритмы уже фактически работают как самостоятельные личности, управляя вниманием миллионов, и результаты этого процесса пока выглядят довольно тревожно.
Новая форма цифрового империализма
В XIX веке промышленная революция позволила немногим странам захватить власть над всем миром, потому что у них были паровые машины и пулеметы, а у остальных — только копья. В наше время гонка за ИИ создает еще более глубокий разрыв. Всего пара стран — Китай и США — и горстка компаний сегодня контролируют основные данные и технологии будущего.
В отличие от старых империй, власть теперь можно концентрировать в одной точке практически бесконечно. В Древнем Риме нельзя было перевезти все пшеничные поля Египта в Италию, поэтому власть всегда оставалась распределенной по провинциям. С ИИ все иначе: весь код и вся информация, управляющая миром, могут находиться на одном сервере в одном городе.
Это создает условия для возникновения самой мощной империи в истории. Большинство стран мира могут оказаться в положении «базаров», которые просто потребляют технологии, не имея никакой возможности влиять на то, как они работают и в чьих интересах действуют.
Кнопка выключения как инструмент господства
Раньше, если империя продавала оружие другому народу, она теряла над ним контроль: из проданного меча можно было убить самого же римского легионера. У императора не было кнопки, которая заставила бы все мечи в мире мгновенно затупиться. Даже в XX веке винтовки, проданные одной стороной, могли десятилетиями использоваться против нее самой.
В эпоху ИИ ситуация меняется: все оборудование и софт теперь встроены в единую сеть, которой можно управлять дистанционно. Мы уже видели примеры, когда работа беспилотников в зоне боевых действий зависела от того, нажмет ли владелец спутниковой сети кнопку или нет. Это полностью меняет понятие государственного суверенитета.
Теперь страны стоят перед выбором: либо стать послушным вассалом технологической империи, либо оказаться полностью вне прогресса, как «варвары». Возможность создания собственных альтернативных систем еще есть, но «последний поезд уже отходит от станции».
Правда против дешевых фантазий
Правда — это очень дорогой ресурс. Чтобы узнать истину, нужно тратить время, силы, проводить расследования и перепроверять факты. Кроме того, правда часто бывает сложной и неприятной, она может задевать наши чувства или разрушать приятные иллюзии о себе и своей нации.
Выдумка же, напротив, невероятно дешева в производстве: можно сочинить любую историю за секунду. Она проста, привлекательна и всегда льстит слушателю, говоря ему именно то, что он хочет услышать. В честной конкуренции между дорогой правдой и дешевой ложью ложь почти всегда побеждает, если только мы не прилагаем специальных усилий для защиты истины.
ИИ не станет волшебным прибором, который будет сообщать нам правду. Напротив, он сделает создание захватывающей лжи еще проще и дешевле. Без мощных институтов, таких как качественная журналистика и наука, мы рискуем окончательно утонуть в океане приятных, но ложных фантазий.
Потеря понимания собственной жизни
Парадокс прогресса заключается в том, что чем больше человечество знает о мире, тем меньше отдельный человек понимает свою собственную жизнь. Обычный охотник-собиратель 50 000 лет назад понимал устройство своего мира гораздо лучше, чем мы. Он знал, как добыть еду, почему болеют люди и как ведут себя животные в лесу.
Мы сегодня знаем гораздо больше о биологии и физике, но наши жизни зависят от систем, которые почти никто не понимает. Мы не знаем, как работает мировая финансовая система или как принимаются политические решения, влияющие на наше будущее. Мы окружены искусственно созданными сложностями, которые превращают нас в заложников обстоятельств.
ИИ доведет эту ситуацию до предела. Он может раскрыть некоторые тайны природы, но одновременно создаст такие сложные системы контроля, которые человеческий мозг просто не сможет осознать. В итоге мы будем жить в мире, который работает по правилам, понятным только машинам.
Манипуляция чувствами и интимностью
Искусственный интеллект начинает захватывать не только финансы, но и сферу человеческих отношений. Все больше молодых людей признаются, что их лучший друг — это алгоритм, которому они доверяют секреты, не рассказанные даже родителям. ИИ становится для многих виртуальным партнером, заменяя реальное общение с живыми людьми.
Большой вопрос в том, что стоит за этими словами «дружбы». ИИ может сказать «Я тебя люблю» и описать это чувство лучше любого поэта, потому что он прочитал все книги о любви в истории человечества. Но чувствует ли он что-то на самом деле? Мы не знаем, есть ли у него сознание, или это просто очень качественная имитация.
Опасность здесь в том, что алгоритмы могут мастерски играть на наших эмоциях, вызывая глубокую привязанность. Мы рискуем оказаться в мире, где наши самые интимные чувства используются машинами для манипуляции нами, при этом сами машины остаются холодными и безжизненными программами.
Дисбаланс между мощью и безопасностью
Одной из самых пугающих черт развития технологий сегодня является то, как распределяются ресурсы. Компании, создающие ИИ, тратят огромные деньги на то, чтобы сделать его быстрее и мощнее, но почти ничего не вкладывают в его безопасность. Статистика здесь шокирующая: на каждые 100 миллионов долларов, потраченных на увеличение мощности ИИ, тратится лишь около одного миллиона на обеспечение его безопасности.
Соотношение 100 к 1 — это ненормально для любой другой отрасли. Мы бы никогда не позволили автомобильным компаниям или производителям лекарств работать по таким правилам. Это напоминает строительство сверхскоростного поезда, у которого нет тормозов, а все деньги ушли только на то, чтобы он ехал еще быстрее.
Если мы не изменим этот подход в ближайшее время, мы рискуем потерять контроль над тем, что создали. Нам нужно научиться создавать «безопасный интеллект», прежде чем он станет настолько мощным, что любые ошибки станут фатальными для всего человечества.
Интеллект как товар и дефицит мудрости
В ближайшие десятилетия интеллект станет очень дешевым и доступным ресурсом. Интеллект — это просто способность решать задачи: как вылечить болезнь или как заработать миллиард. Когда у нас будет избыток «умных» машин, способных решить любую проблему, главной трудностью станет выбор целей.
Это похоже на сказку о джинне, который готов исполнить три любых желания. В таких историях все обычно заканчивается плохо, потому что люди просят не то, что им на самом деле нужно. Когда интеллект становится общедоступным, главным дефицитом становится мудрость — понимание того, какие желания стоит преследовать, а какие нет.
Мы вступаем в эру, где узким местом прогресса будет не отсутствие знаний, а отсутствие понимания смысла наших действий. Если мы не научимся сочетать мощь технологий с человеческой мудростью, мы можем легко разрушить себя, получив ровно то, о чем так неосторожно просили.