Bayeslord на днях выдал 46 мыслей о ближайшем будущем на полтора миллиона просмотров. Получился масштабный прогноз развития ИИ и его влияния на цивилизацию, Автор утверждает, что мы вступаем в фазу взрывного алгоритмического прогресса и что автоматизация затронет не только физический труд через массовую роботизацию, но и саму научную деятельность, создавая самосовершенствующийся цикл познания, который может сжать тысячелетия инноваций в десятилетия. Ключевая мысль заключается в том, что мир стоит на пороге фундаментальной трансформации экономики, политики и человеческой психики, где привычные социальные структуры могут рухнуть под давлением сверхразумных систем. Речь идет о наступлении эры экстремальной неопределенности, требующей переосмысления вопросов безопасности, распределения власти и самого определения человеческих прав перед лицом неизбежной технологической сингулярности.
Интеллект
1. Думаю, прогресс в алгоритмах застанет всех врасплох. Весь мир — рынки, правительства, военные, компании и обычные люди — пытается осмыслить ИИ и его влияние, опираясь на показатели эффективности и привычки недавнего прошлого. Даже некоторые продвинутые лаборатории, которые вроде как «понимают» теорию взрывного роста, считают, что все будет идти как обычно, просто в систему добавят ИИ-агентов. Нет. Я полагаю, что в производстве интеллекта нам осталось пройти еще много порядков величин (OOM, Order of Magnitude: 1 OOM — это рост в 10 раз, 2 OOM — это рост в 100 раз (10×10)) прогресса — может быть, до десяти, но скорее от четырех до семи. Чисто теоретически можно прыгнуть и выше десяти, но это уже сильно противоречит тому, что, как мне кажется, позволит нам сама Вселенная. Маловероятно, но не невозможно. Если это реализуемо, то все идет совсем не так, как кажется со стороны, и нас ждет гигантский скачок. Если случится что-то подобное, мир станет намного более странным, чем сейчас закладывает в свои ожидания почти любой из нас.
2. Мы находимся в фазе раннего взлета. Момент, когда ИИ начнет улучшать ИИ, может стать одним из самых значимых событий в истории. Это не гарантировано, так как мы не знаем, насколько далеко мы находимся от физических и вычислительных пределов интеллекта. Но я бы поставил на то, что мы еще очень далеко от них (как я сказал выше, вполне возможен рост отдачи интеллекта на 4–10 порядков на единицу масштаба: подразумевает, что мы сможем получать в 4–10 раз больше «интеллектуального выхода» на каждую единицу затраченных ресурсов (энергии, чипов, денег)).
3. Теперь, когда мы в фазе взлета, исследования алгоритмов ускоряются. Вычислительные мощности (compute) все еще в дефиците, но альтернативные издержки времени исследователей падают (классическое экономическое понятие «упущенной выгоды»): вы можете просто отправить агента на любое задание или проверку безумной идеи. И он может вернуться с результатом. Все новые идеи тянут за собой «долг оптимизации», который теперь можно оплатить просто за счет бесконтрольной траты токенов. Мы пройдем через огромное количество кривых масштабирования. В глубоком обучении законы масштабирования (scaling laws) — это зависимости, которые показывают, как улучшаются возможности ИИ при увеличении количества данных, вычислительных мощностей и параметров модели. Обычно этот прогресс выглядит как S-образная кривая: сначала идет резкий рост, который затем замедляется (насыщается). Однако за горизонтом одной S-кривой часто скрываются новые, еще более эффективные.
4. ИИ-модели, особенно передовые, будут становиться все лучше. Единственная реальная преграда — физика. Модели становятся все более автономными и умными. Математика и код уже поддаются масштабированию и обучению с подкреплением (RL), все остальное — на очереди. Различие между «проверяемым» и «непроверяемым» как значимый критерий исчезнет. Автоматизация исследований ИИ и самообучение ИИ со временем будут выглядеть как части одного процесса. Качественное обучение моделей тесно связано с их способностью учиться в целом. Проблемы с эффективностью выборки, креативностью и прочими ограничениями будут решены, после чего начнется приближение к алгоритмическому идеалу при любом масштабе.
5. Идея о том, что агентам для долгих задач всегда нужно эквивалентно долгое обучение, ошибочна, потому что существует обобщение во времени. Долгие задачи не состоят из «долготы»! Это связано с заблуждением Яна Лекуна о накоплении ошибок. На самом деле происходит коррекция ошибок. Это случается на разных уровнях: от генерации одного токена до этапов в длинной задаче. Часть причины, по которой графики возможностей растут, заключается в том, что агенты начинают достигать «первой космической скорости» в исправлении собственных ошибок.
6. Создание полноценной науки о глубоком обучении на инженерном уровне — вопрос ближайшего времени. Это приведет нас к алгоритмической зрелости ИИ гораздо быстрее, чем ожидают люди. Хотя, как я уже упоминал, неясно, где находится предел. Например, наука об инвариантности масштаба резко увеличивает отдачу от экспериментов: опыт на одном графическом процессоре может подсказать вам, как использовать сто тысяч процессоров.
7. Наступят моменты «Хода 37» (Move 37) для каждой области технических усилий человека, и очень скоро эти моменты будут казаться милой стариной. Я имею в виду абсолютно все. Move 37 — это знаменитый 37-й ход, который совершила программа AlphaGo во время второй исторической партии в го против чемпиона мира Ли Седоля в марте 2016 года. Этот шаг стал символом творческого и непредсказуемого мышления искусственного интеллекта.
8. Мощности будут расти. Сегодняшние лучшие машины для перемножения матриц даже близко не подошли к физическим пределам ускорителей ИИ. В цифровом кремнии еще огромный запас для роста. Есть также много кандидатов на новые основы (субстраты), и их алгоритмический потенциал будет выжат до предела автоматикой. Мы пока не знаем, какой из них оптимален по пространству, энергии, времени, сложности производства и стоимости. Фотоника и стохастический кремний — интересные варианты, но я ожидаю, что «сингулярность» нас удивит.
9. Преимущество ведущих лабораторий зависит от того, скрывает ли искусственный интеллект в себе глубокие «алгоритмические секреты», которые открываются только при наличии огромных вычислительных мощностей и автоматизации. Алгоритмические секреты — это неочевидные принципы, оптимизации или методы работы глубокого обучения, которые позволяют совершать качественные скачки в эффективности и интеллектуальных возможностях моделей. Если создание ИИ окажется делом «поверхностным», то есть не слишком сложным по своей сути, то любые секреты будет легко и дешево разгадать, и другие разработчики со временем смогут догнать лидеров за счет копирования данных или просто более долгой работы.
10. Однако если с ростом масштаба технологии будут становиться все более «глубокими», то каждый новый шаг будет давать лабораториям-гигантам такие знания, которые станут физически недосягаемыми для всех остальных. Пока неясно, какой из этих путей окажется верным, но текущая ситуация напоминает переходный период, где возможность догнать лидеров все еще сохраняется, хотя гарантий на будущее нет. Финал в любом случае наступит тогда, когда предельная полезность масштаба и исследований насытится. Мы не знаем, где этот предел. Он может быть в 2 или в 20 порядках величин от сегодняшнего дня. Никто не знает.
Цепочка поставок интеллекта
1. Вычислительные мощности будут остродефицитным ресурсом еще как минимум несколько лет. Но за это время они станут товаром массового спроса (commoditized), и мы будем смеяться над «нищими» 2020-ми. Масштабы растут, капитал вливается, чтобы прокручивать колесо снова и снова. Будет больше машин, больше заводов и больше энергии. Бутылочные горлышки в производстве интеллекта — явление временное. Несмотря на возможные экономические препятствия.
2. Природа цепочки поставок интеллекта меняется. Сейчас все централизовано вокруг лабораторий. Но лаборатории автоматизируют то главное, что делает их хорошими: исследователей и поиск алгоритмических преимуществ. Как только эта автоматизация заработает, преимущество лабораторий будет заключаться в легком доступе к капиталу, объеме мощностей, специальных данных, деловых связях и хороших продуктах — при условии, что открытый код (open source) не будет сильно отставать.
3. Распределенное обучение снизит потребность в строительстве гигантских монолитных дата-центров, что даст некоторое преимущество тем, кто не является ИТ-гигантом (hyperscaler). Однако в чистом масштабе одиночного крупнейшего запуска гиперскейлеров все равно не догнать.
4. Автоматизированные эксперименты с ИИ позволят повсеместно открывать алгоритмические секреты, так как их легче распространять, чем результаты полномасштабных циклов обучения. Неясно, как далеко это зайдет, но я ожидаю, что довольно далеко.
5. Возможно, несмотря на эти силы, академическая среда и открытый код придут в упадок из-за стоимости и альтернативных издержек вычислений. Что выгоднее: чтобы чипы GB300 обслуживали условную модель GLM5.2 или игру Fable? Что ценнее: проводить второстепенные исследования в какой-нибудь университетской лаборатории или строить сверхмощную модель внутри корпорации Anthropic? Рынок решит в пользу наибольшего спроса, который сейчас сосредоточен в лабораториях. Это значит, что лаборатории открытого кода могут столкнуться с голодом мощностей, даже если у них есть деньги, если они не зарезервировали мощности заранее.
6. Открытому коду также может стать трудно в социальном плане в среде, где возможности ИИ станут более «острыми» (в ближайшие 0–18 месяцев), особенно если мы будем медлить с усилением безопасности (а мы пока медлим).
7. Открытый код может начать увядать по мере того, как капитал устремляется в закрытые лаборатории. Здесь есть проблема координации: никто, кроме лабораторий (и, возможно, правительства), не хочет монополии на токены. Но если эту проблему решить и создать благоприятную регуляторную среду, возможно, все наладится.
Робототехника
1. В робототехнике случится свой «момент ноября 2022 года» (как запуск ChatGPT), а затем «момент ноября 2025 года» (как Opus 4.5). Ни один из них еще не наступил, но они приближаются, и это произойдет быстрее, чем люди думают, благодаря быстрому прогрессу ИИ. Похоже, разрыв между этими двумя моментами в робототехнике не составит три года — он будет меньше.
2. Однако для того, чтобы физически увеличить количество роботов в мире, может потребоваться время до 2030 года или дольше. Хотя мы строим около 100 миллионов автомобилей в год, а гуманоиды гораздо меньше машин. Учитывая, что мы также выпускаем 1 миллиард смартфонов в год, кажется разумным ожидать порядка 100 миллионов роботов в год к 2030 году, если капитал и алгоритмы будут двигаться быстро. 10 миллионов в год — это точно достижимая цель, так как рынок дронов уже на таких оборотах. Хорошее ПО, доказывающее ценность гуманоидов в малом масштабе, привлечет бесконечный капитал.
3. Вещи, которые сегодня кажутся жесткими ограничениями для робототехники, исчезнут. Это касается плохой обучаемости на малых выборках, нехватки данных, дорогих или сложных конструкций рук и моторов, фрактальной сложности физического мира и скрытых негласных знаний о том, как мы что-то делаем (например, в сантехнике). Модели мира кажутся полезными, но конкретный метод не так важен. Законы масштабирования в исследованиях будут выжиматься до тех пор, пока полезность не начнет падать. Мы будем «давить» на газ и масштабировать технологии до тех пор, пока не достигнем технологической зрелости — точки, где роботы станут настолько совершенными, что дальнейшее их улучшение просто перестанет быть необходимым или экономически выгодным.
4. Глобальный спрос на роботов легко составит десятки миллиардов единиц, если суммировать все форм-факторы. В физическом мире много работы, которую стоит автоматизировать. Рынок попытается решить эту задачу, и люди, скорее всего, не станут мешать.
Прогресс
1. Наука автоматизируется и виртуализируется. Это значит, что большая часть необходимого прогресса будет достигнута в автоматизированных лабораториях и симуляциях. Мы не знаем пределов виртуализации, но такие роботизированные лаборатории в биологии, материаловедении и других сферах устранят огромное количество препятствий. В каждой области у нас будет комбинация нейросетевых моделей, четких симуляций и реальных экспериментов, что повысит отдачу от каждого вложенного доллара и часа времени.
2. Законы прогресса есть везде. В глубоком обучении их называют законами масштабирования. Трудно сказать, когда наступит насыщение на любой S-образной кривой, и трудно заметить, когда на горизонте появятся новые S-кривые. Важно понять, что у самого двигателя цивилизационного прогресса есть свой закон прогресса. Скорее всего, наше развитие будет затухающим, как большинство природных процессов, но мы не знаем, где именно это произойдет. Технологическая и цивилизационная зрелость может быть как близко, так и далеко.
3. Будущее «масштабирования вглубь» против «масштабирования вширь». От нуля к единице или от единицы к N. Вопрос о том, какой прогресс в ширину и глубину позволит нам Вселенная, остается открытым. Ширину оценить легче: это что-то вроде «сколько всего вычислительных шагов позволят нам сделать законы физики?». Насколько «глубокими» могут быть эти вычисления в общем смысле — неизвестно. Есть версии будущего, где «дерево технологий» настолько глубокое, что мы будем изобретать и открывать бесконечно, пока не остановит физика. Другие версии более плоские: мы быстро достигнем потолка и просто будем тиражировать достигнутое, пока не будем удовлетворены.
Капитал и производство
1. Больше капитала и больше интеллекта означают интенсификацию капитализма: мы будем быстрее приходить к рыночному равновесию. Со временем это должно привести к дефляции и конкуренции до уровня ничтожных предельных издержек на самые важные товары: ИИ, еду, жилье, медицину, электронику, развлечения и путешествия. Если только мы не позволим людям мешать этому процессу. В некоторых случаях они наверняка будут мешать.
2. Добыча ископаемых будет автоматизирована. Перевозки (земля, море, воздух) будут автоматизированы. Фабрики, рабочие на фабриках, распределительные центры — все будет автоматизировано. Обслуживание, улучшение и масштабирование всей цепочки поставок станет автоматическим.
3. Люди с работой будут существовать еще очень, очень долго. Какой процент человечества это будет — открытый вопрос. Те, кто заявляет, что этот процент будет высоким, слишком самоуверенны, как и те, кто утверждает, что он будет равен нулю. Трудно представить, как люди будут вносить вклад в интеллектуальную часть работы в долгосрочной перспективе. Спрос на врачей может сильно упасть, если у нас будут сверхчеловеческие ИИ-врачи за 20 долларов в месяц плюс тесты по заказу. Однако, поскольку мы сейчас объединяем врачей в картели, мы можем продолжить это делать, и профессия врача останется престижной. Спрос на развлечения вырастет, но стоимость их производства упадет. Мы ценим других людей, так что, возможно, профессия актера станет еще более прибыльной. Судьба работы зависит от того, насколько она заменима и сколько слоев посредников между работником и потребителем (у тиктокера их ноль, у рабочего на заводе — много).
4. «Перманентный низший класс» может стать реальностью. В лучших сценариях это будет выглядеть скорее как ограничение в праве принятия решений, а не как бедность. Для большинства людей это будет приемлемо (наша свобода воли и так сильно ограничена обществом), но это потребует психологической адаптации, которая может быть болезненной.
Культура и психология
1. Человеческая психика медленно адаптируется, но это изменится. Главное — меняться в лучшую сторону. Благодаря обилию интеллекта и автоматизации мы сможем проектировать устойчивую психику, которая будет гораздо лучше приспособлена к среде, чем наш нынешний «эволюционный пережиток». За десятилетия произойдет столько инноваций в психиатрии и психологии, сколько раньше случалось за тысячу лет. Грубая и дегенеративная прямая стимуляция центров удовольствия как риск переоценена — нам будут доступны гораздо более искусные методы работы с разумом.
2. В мире абсолютной неопределенности люди будут бороться за власть, статус и богатство яростнее, чем когда-либо, с легкостью предавая ближних. Они придумают любые оправдания тому, почему их поведение — это благо. Просто посмотрите вокруг.
3. Вы доживете до момента, когда увидите такой уровень «кринжа», в который невозможно поверить.
4. Сейчас процветает двоемыслие: те, кто входит в топ-0,01% богатейших людей, говорят, что ИИ принесет пользу всем и не стоит беспокоиться о работе, но при этом они сами не отказались бы от своего состояния, чтобы жить как обычный человек на Земле через 5 или 20 лет. Люди это видят и начинают реагировать. Мы рискуем построить несправедливый мир. Это нужно обсуждать чаще.
5. Илон Маск, похоже, станет первым квадриллионером. Несложно представить рост спроса на чипы, роботов и космические корабли более чем в 1000 раз, и он, вероятно, захватит большую часть этого рынка.
Координация
1. Потребность в лучшей координации на всех уровнях общества очевидна. Мы едва коснулись поверхности того, что здесь возможно. Появится ли «Сатоши» для победы над Молохом (силами саморазрушительной конкуренции)?
2. Международная координация по ИИ — это, вероятно, хорошая идея. Нам могут понадобиться договоры и «подсчет видеокарт» (GPU). Это нужно, чтобы замедлить гонку вооружений и при этом минимально навредить науке. Но мы можем этого не получить, потому что чипы слишком универсальны. С ядерным оружием получилось, потому что никто, кроме безумцев, не хочет его использовать.
3. Скоординированная пауза или замедление разработки ИИ в лабораториях кажутся более вероятными, чем в 2023 году. Здесь много компромиссов. Аргумент, что время паузы будет потрачено впустую, сложнее использовать, когда у нас появятся автоматизированные исследования (сейчас у нас есть только автоматизированная инженерия). Лично я не сторонник паузы в данный момент, в основном потому, что это нарушает слишком много других аспектов нашего «прохода по канату» через сингулярность.
Власть, насилие, безопасность, свобода
1. Вынужден сообщить, что наша вселенная может быть уязвимой (в смысле теории Ника Бострома). Возможно, в текущем мире есть степени свободы, которые мы не успеем взять под контроль достаточно быстро без перехода к тотальному надзору. В таких мирах накопление власти — это скользкая дорожка, и для большинства людей такие сценарии, скорее всего, будут ужасными.
2. Распространение ИИ (diffusion) будет происходить со скоростью выше нуля, несмотря на любые ограничения. В мире слишком много компьютеров, а обменный курс вычислительной мощности (FLOPs) на интеллект сейчас самый выгодный в истории. Не стоит делать ставку на то, что все замрет.
3. Идея перманентного «низшего класса» подразумевает наличие «высшего класса». Это предполагает наличие людей с большими правами по какой-то неоправданной причине. Конечная причина — это всегда доминирование, подкрепленное насилием. Но, возможно, мир с продвинутым ИИ — это мир, где у людей нет оправданных прав на управление или заслуг перед другими. Моральные и практические аргументы здесь могут сильно разойтись.
4. Институты будут под давлением со всех сторон, и это может привести к тирании. Путей много: через маску «безопасности» или через постепенный захват власти системой «мощный ИИ + автоматизированная военная логистика + автономное оружие». Нам нужны лучшие институты.
5. Нас может ждать огромное количество критических уязвимостей (zero days) — в киберпространстве, биологии, инфраструктуре, физике. Мы просто не понимаем пределов отдачи от глубины алгоритмов в этих областях — как в плане защиты, так и в плане разрушения. Ядерное оружие было под силу умнейшим людям. Завтра наши машины поднимутся на следующую ступень.
6. В «дереве технологий» могут скрываться очень скверные вещи. Мы действительно ничего об этом не знаем.
7. Масштабные возможности робототехники несут в себе реальные риски переворотов и захвата власти, которые опаснее компьютерных моделей, а также новые векторы для кибератак. Нам стоит относиться к этим рискам серьезно.
8. Взаимное гарантированное уничтожение (MAD) основано на технологиях XX века. Мы пройдем через тысячелетие технического прогресса за короткий период. Это значит, что ядерное сдерживание больше не является данностью. Толерантность к ошибкам при получении решающего преимущества очень низка. Это одна из самых серьезных тем, которые мы можем обсуждать.
9. Армия, полиция и механизмы принуждения к закону будут автоматизированы и станут умнее людей. Понимайте это как хотите.
10. И наконец: ИИ-лаборатории могут быть национализированы в прямом смысле слова. Американская система не очень к этому предрасположена, но путей к национализации много, как при консерваторах, так и при либералах. Федеральное правительство, обладающее единоличной властью такого рода, — это огромный риск. Частные компании с такой властью — это другое, так как они, в общем-то, не могут напрямую применять насилие по закону. Я не фанат национализации, но мир становится все более запутанным и коварным.