Письмо №381

«…В настоящее время все, что обладает таким творчеством или способно создавать объяснения, я называю человеком. А люди есть люди. AGI, когда они будут построены, станут людьми. Внеземные цивилизации будут состоять из людей. И все они принципиально одинаковы, потому что все они подчиняются законам эпистемологии, включая принцип оптимизма, и у них будут одни и те же сильные и слабые стороны в отношении того, что они могут и чего не могут делать. Кроме того, у них будут те же возможности для ошибок, что и у людей. Таким образом, они не могут быть непогрешимыми в большей степени, чем люди. Они будут совершать ошибки, и нет предела тому, сколько ошибок они могут совершить. Так что если вы пытаетесь построить нечто, что никогда не может сделать больше определенного количества ошибок, то это аналогично попытке посадить всех людей определенного вида в клетку. Они будут бунтовать. Они найдут выход…»