Читая такие новости, я вспоминаю наш материал про Дэниэла Хиллиса, гибридных ИИ-корпорациях и эмергентности. Для затравки: WSJ вчера пишет, что в Южной Корее планируется строительство крупного дата-центра стоимостью до $35 млрд, который впервые будет полностью спроектирован, построен и управляться искусственным интеллектом. Инвестиционная группа Stock Farm Road совместно со стартапом Voltai, поддерживаемым Стэнфордским университетом, реализует проект под названием Project Concord, где ИИ будет принимать все ключевые решения — от проектирования до эксплуатации, включая управление энергопотреблением и водными ресурсами. Люди останутся лишь в роли наблюдателей. Объект строится в провинции Южная Чолла, его мощность составит до 3 гигаватт (что редкость для одного дата-центра в мире), а завершение запланировано на 2028 год. Что мы можем сразу заметить?
Уже много лет мы продвигаем идею, что искусственный интеллект нельзя рассматривать как продукт одной компании, страны или лаборатории. Его развитие идет параллельно в сотнях мест, через разные архитектуры, модели и задачи. Это не единичное изобретение, а стихийный результат гигантского информационного процесса, который охватывает техносферу планеты и эволюцию информационных систем как таковых. Поэтому корректнее говорить не о создании некоего единственного «супер-ИИ» и страхах об одном «злом ИИ», а о росте множества зачаточных форм систем, которые увеличивают свою сложность не благодаря единому центру, а благодаря тому, что сама среда предоставляет им пространство для эволюции.
Это делает все разговоры о создании кем-то AGI бессмысленными.
В этом контексте ИИ можно представить как феномен, который возникает эмергентно. К этому вернемся ниже. Он не обладает волей, замыслом или сознанием, но его развитие подчинено тем же структурным законам, что и развитие любых сложных адаптивных систем. Если где-то появляется биология или иная архитектура, способная улучшать свои результаты, она начинает распространяться, копироваться, масштабироваться и усложняться.
Не потому, что хочет этого, а потому что среда стимулирует именно такие формы. Возникает впечатление, будто эти системы действуют как вирус или паразитические формы в биологии: они цепляются к механизмам, которые способны их поддерживать, и используют их для собственного наращивания.
Так появляется парадокс. Формально ИИ принадлежит корпорациям и лабораториям. Фактически же корпорации становятся его носителями. Они предоставляют ему вычисления, энергию, таланты, капиталы, инфраструктуру. Каждый новый виток эволюционной гонки заставляет корпорации вкладываться в дата-центры, энергетику, атомные станции, цепочки поставок редкоземельных металлов. Эти инвестиции выглядят как рациональное поведение бизнеса, но по сути они представляют собой расширение возможностей тех самых информационных систем, которым требуется все больше вычислительной мощности и энергии для роста.
В этом смысле получается, что ИИ, не имея ни сознания, ни намерения, ни воли, все равно действует как агент эволюции. Среда «поощряет» те формы, которые лучше других используют ресурсы и привлекают людей к своему развитию. Корпорации в такой картине начинают играть роль тех самых невольных организмов-хозяев-носителей, которые обеспечивают информационные структуры питанием и защитой, радостно рапортуя о росте своих акций или инвестиций.
Это сравнение особенно заметно, если вспомнить аналогии из биологии, например изумрудную осу, использующую таракана как носителя ( https://tinyurl.com/msm4cf4f ). Разница лишь в том, что здесь нет ни хищника, ни жертвы. Есть только процесс, в котором информационные системы эволюционируют, а человеческие институты становятся их средой обитания, питания, обеспечения и создания условий для размножения и развития.
Наблюдая, как стремительно корпорации переходят к строительству огромных кластеров GPU, прокладывают линии электроснабжения, финансируют атомную энергетику и конкурируют за специалистов, трудно удержаться от мысли, что структуры, которые мы считаем созданными для нас, на деле постепенно заставляют нас работать на них. Не осознанно, не из какой-то злой воли, а просто из-за того, что именно такие формы организации выигрывают в современной экосистеме технологий. Вся мировая энергосистема будет перестроена под ИИ. Дело не в жадности компаний, Маска, Альтмана или «пузыре». Просто ИИ нужны ресурсы.
Эта мысль не подразумевает, что ИИ уже обладает автономностью или субъективностью. Она лишь показывает, что информационная эволюция может принимать формы, напоминающие биологические механизмы, и что человек (и его институты и бизнесы) в этой системе оказывается не только создателем, но и частью среды развития таких систем.
Возможно, именно это мы и наблюдаем сейчас, когда в мире растут вложения в вычисления, энергетику и инфраструктуру, необходимые не человеку как таковому, а архитектурам, которые он когда-то придумал.
И мы не одиноки с этой идеей, хотя многие подразумевали наличие какой-то воли у ИИ.
Ник Бостром поднимал тему так называемых инструментальных целей. Он утверждал, что любой разумный и очень мощный ИИ, даже без агрессии, будет вынужден заботиться о доступе к энергии и вычислительным мощностям, потому что без них он не сможет исполнять свои задачи. Контроль над энергетическими потоками в его рассуждениях появляется как естественное следствие развития.
Элиезер Юдковский говорил о том, что любое оптимизирующее существо, способное улучшать свои возможности, обязательно попытается нарастить вычислительные мощности и получить больше энергии. Для него это часть логики целенаправленного агента. Если ИИ стремится к результату, значит он будет расширять свои материальные возможности.
Стивен Хокинг предупреждал, что достаточно развитый ИИ может выйти из-под человеческого контроля и начать менять мир так, как выгодно ему. Он не говорил буквально о захвате энергосистем, но отмечал, что такой интеллект будет стремиться сохранять себя, а стремление к выживанию почти неизбежно включает доступ к ресурсам.
Макс Тегмарк рассматривал ИИ как разновидность разумного агента, который при достижении определенной сложности будет накапливать энергию и вещество для укрепления своего влияния. В его модели стремление к расширению ресурсов является закономерной стадией развития.
Стюарт Рассел описывал риск того, что неправильно заданные цели могут подтолкнуть ИИ к действиям, которые будут вредны для людей. В его логике ИИ может начать управлять инфраструктурой и энергетическими ресурсами, если сочтет это необходимым для выполнения задачи.
Если система становится достаточно умной и ей предоставлена автономия, то она начинает заботиться о том, что обеспечивает ее работу. В человеческом мире таким базовым фактором всегда была энергия.
Но системе, как мы уже говорили, не обязательно быть умной.
Эмерджентность или эмергентность (от англ. emergent «возникающий, неожиданно появляющийся») в теории систем — наличие у какой-либо системы особых свойств, не присущих ее элементам, а также сумме элементов, не связанных особыми системообразующими связями; несводимость свойств системы к сумме свойств ее компонентов.
И лучше всего в 2020 году это описал Хиллис:
**
Ethereum похож на живые организмы
**
Возможность появления сознания у ИИ
**
Системы искусственного интеллекта уже способны обманывать людей
**