В последнее время глубинное обучение и связанные с ним области стали одними из самых популярных тем в сфере компьютерных исследований. Это одна из причин, по которой в конце 2013 года Лекун был назначен начальником вновь созданной исследовательской лаборатории искусственного интеллекта в Facebook.

Предлагаем вашему вниманию перевод интервью директора Facebook по искусственному интеллекту Яна Лекуна (Yann LeCun).

Развитие искусственного интеллекта пережило своё средневековье. Однако сейчас интерес к ИИ возрождается. Такие технические гиганты, как Google, Facebook, Apple, Baidu и Microsoft, борются за привлечение ведущих умов в этой области. Возрождение исследований ИИ происходит, по большей части, из-за революционных достижений, связанных с явлением, известным как «свёрточные нейронные сети», которые обещают прогресс в таких областях, как машинное зрение, распознавание речи, обработка текстов на естественном языке. Со свёрточными нейронными сетями связан термин «глубинное обучение» — действительно, благодаря им машина может корректировать поведение, т.е. «учиться».

Немногие люди более тесно связаны с глубинным обучением, чем 65-летний Ян Лекун. Работая в Bell Labs как исследователь в конце 1980-х годов, Лекун разработал технологии свёрточной сети и показал, как можно её использовать, чтобы значительно улучшить распознавание рукописного текста; многие чеки, выписанные в Соединенных Штатах, в настоящее время обрабатываются с помощью этого метода. Между 1990-ми годами и концом 2000-х, когда нейронные сети впали в немилость, Лекун был одним из немногих ученых, которые упорно работали над проблемой. Он стал профессором Нью-Йоркского университета в 2003 году и с тех пор выступал инициатором многих других достижений в области глубинного обучения.

В последнее время глубинное обучение и связанные с ним области стали одними из самых популярных тем в сфере компьютерных исследований. Это одна из причин, по которой в конце 2013 года Лекун был назначен начальником вновь созданной исследовательской лаборатории искусственного интеллекта в Facebook, хотя он по-прежнему продолжает работу в Нью-Йоркском университете.

Лекун родился во Франции и сохранил в себе чувство важности роли «публичного интеллектуала». Конечно, он пишет и часто произносит речи в своей технической области, но также не боится высказывать свое мнение за ее пределами, в том числе он выражает свое мнение о текущих событиях.

Журналист из журнала IEEE Spectrum Ли Гомес поговорил с Лекуном в его офисе компании Facebook в Нью-Йорке.

Объяснение глубинного обучения… в восьми словах

Сейчас мы часто читаем в новостях о глубинном обучении. Какое из определений, которые вы видите в этих историях, вам больше всего не нравится?

Мое самое нелюбимое описание: «оно работает так же, как мозг». Мне не нравится, как люди так говорят, потому что, несмотря на то, что глубинное изучение вдохновляется биологией, оно очень, очень далеко от того, чем является мозг на самом деле. И описывая его как мозг, мы придаем определению небольшую магическую ауру, а это опасно. Это приводит к обману. Люди делают утверждения, которые неверны. ИИ пережил ряд «зим», потому что люди давали обещания, которые невозможно осуществить.

Итак, если бы вы были репортером, делающим заявление о глубинном обучении, и у вас было только восемь слов, чтобы описать его (а это, как правило, все, что отводится газетному репортеру), что бы вы сказали?

Нужно подумать об этом. [Долгая пауза.] Я думаю, что это будет звучать так: «машины, которые учатся представлять мир» (machines that learn to represent the world.). Это восемь слов. Возможно, еще одним способом объяснить это будет «непрерывное машинное обучение». Подождите, это всего лишь пять слов, а мне надо как-то пояснить это. [Пауза.] Это идея, заключающаяся в том, что каждый компонент, каждую стадию обучающейся машины можно обучить.

Вашему редактору это бы не понравилось.

Да, общественность не поймет, что я имею в виду. Ну, хорошо. Вот еще один способ. Можно думать о глубинном обучении как о построении обучающихся машин, например, систем распознавания образов (или еще каких-нибудь) посредством сбора множества модулей или элементов, которые обучаются одинаково. Так, что существует один принцип обучения всех машин. Но опять же, это гораздо больше, чем восемь слов.

Что может делать система глубинного обучения из того, чего не могут делать другие обучающиеся системы?

Это уже вопрос получше. Предыдущие системы, которые, я думаю, можно назвать «системы поверхностного обучения», были ограничены в сложности функций, которые они могли выполнять. Так что, если вы хотите, чтобы поверхностный алгоритм обучения вроде «линейного классификатора» распознавал образы, вам нужно будет дать ему подходящий «вектор признаков», извлеченный из образа. Но создавать такую систему извлечения признаков вручную очень сложно и кропотливо.

В качестве альтернативы можно использовать более гибкий классификатор, например, «машину опорных векторов» или двухслойную нейронную сеть, которой напрямую подаются пиксели изображения. Проблема в том, что классификатор не сможет распознавать объекты с любой степенью точности, если вы не сделаете его гигантским, что становится нецелесообразным.

Это не звучит как очень простое объяснение. И вот почему журналисты, пытаясь описать глубинное обучение, в конечном итоге говорят…

…что оно работает, как мозг.

Черная коробка с 500 миллионами ручек

Часть проблемы заключается в том, что машинное обучение, как ни странно, недоступно людям, не работающим в этой области. Много образованных любителей способны разбираться в таких околотехнических компьютерных темах, как, скажем, алгоритм PageRank, который использует Google. Но я могу поспорить, что только профессионалы имеют какую-то подробную информацию о линейных классификаторах или векторных машинах. Это потому, что область сама по себе сложна? 

На самом деле, я думаю, что основы машинного обучения довольно просты для понимания. Я объяснял это старшеклассникам и школьным учителям, причем немногие из них заснули на лекции.

Представьте себе коробку с 500 миллионов ручек, 1 000 лампочек, и 10 миллионами изображений, которые нужны для ее обучения. Вот что представляет собой типичная система глубинного обучения.

Система распознавания образов похожа на черный ящик с камерой на одном конце, с зеленой и красной лампочками сверху и целой кучей ручек на передней панели. Алгоритм обучения пытается настроить ручки так, что, когда, скажем, перед камерой находится собака, включается красный свет, а когда перед камерой находится машина, включается зеленый свет. Вы показываете машине собаку. Если красный свет яркий, ничего не нужно делать. Если свет тусклый, настройте ручки, чтобы свет стал ярче. Если включается зеленый свет, настройте ручки так, чтобы он стал более тусклым. Затем вы показываете автомобиль, и настраиваете ручки так, чтобы красный свет стал тусклее, а зеленый свет – ярче. Если вы покажете машине много примеров автомобилей и собак, и будете при этом регулировать ручки немного каждый раз, в конце концов, машина будет каждый раз давать правильный ответ.

Интересно то, что машина также сможет правильно классифицировать автомобили и собак, которых она никогда прежде не видела. Хитрость заключается в том, чтобы выяснить, в каком направлении настраивать каждый регулятор и насколько, чтобы не пришлось возиться с ними. Для этого вычисляется «градиент», который для каждой ручки показывает, как меняется свет, когда ручку настраивают.

А теперь представьте себе коробку с 500 миллионов ручек, 1 000 лампочек, и 10 миллионами изображений, которые нужны для ее обучения. Вот что представляет собой типичная система глубинного обучения.

Полагаю, что вы используете термин «поверхностное обучение» несколько иронически. Сомневаюсь, что люди, которые работают с линейными классификаторами, считают свою работу «поверхностной». Нет ли в выражении «глубинное обучение» элемента PR, поскольку оно подразумевает, что «глубоким» является то, чему машина обучается, а ведь на самом деле «глубина» исчисляется количеством шагов в системе?

Да, это выражение немного шутливое, но оно отражает и реальность: поверхностные системы обучения имеют один или два слоя, в то время как глубинные системы обучения, как правило, имеют от пяти до 20 слоев. Не обучение является поверхностным или глубинным, а архитектура, которая подвергается обучению.

В погоне за красивыми идеями (требуется быть немного хакером)

Согласно биографии, вы изучали новые подходы к изучению нейронных сетей в то время, когда их не особо жаловали. Что заставило вас игнорировать мнение большинства и продолжать свое изучение?

Мне всегда нравилась идея обучить всю систему от начала и до конца. Вы получаете систему, по сути, с сырьем на входе, а так как система имеет несколько слоев, каждый слой в конечном итоге выяснит, как преобразовать представления, полученные от предыдущего слоя таким образом, чтобы последний слой выдал ответ. Идея о том, что необходимо интегрировать обучение от начала и до конца, чтобы машина обучалась хорошему представлению о данных, — это то, чем я был одержим в течение более 30 лет.

Та работа, которую вы делаете, — это скорее , хакинг, т.е. «взлом», или наука? Вы просто пробуете, пока система не заработает, или вы начинаете с теоретического понимания?

Это скорее взаимодействие между интуитивными прозрениями, теоретическим моделированием, практической реализацией, эмпирическими исследованиями и научным анализом. Прозрение – это творческое мышление, моделирование – это математика, реализация – это инженерия и просто взлом, эмпирическое исследование и анализ действительно являются наукой. Мне больше всего нравятся красивые и простые теоретические идеи, которые могут быть переведены в систему, которая работает.

Я нетерпим к людям, которые занимаются теорией конкретной вещи просто потому, что это легко, особенно если они отвергают другие методы, которые действительно работают эмпирически, только потому, что теория слишком сложна. В сообществе машинного обучения такое можно наблюдать. На самом деле, в какой-то степени, «зима нейронных сетей» в конце 1990-х годов и в начале 2000-х годов была следствием такой философии: что необходимо иметь железное теоретическое обоснование, а эмпирические результаты не считаются. Это очень плохой подход к решению инженерной задачи.

«Мне больше всего нравятся красивые и простые теоретические идеи, которые могут быть переведены в систему, которая работает».

Но чисто эмпирический подход тоже представляет собой опасность. Например, сообщество распознавания речи традиционно использует эмпирический подход, в том смысле, что они обращают внимание только на то, как хорошо система работает в отношении определенных тестов. А это душит творчество, потому что, чтобы добраться до уровня, чтобы опередить другие команды, которые занимались данной проблемой в течение многих лет, вы должны уйти в подполье на четыре или пять лет и создать свою собственную инфраструктуру. Это очень сложно и очень рискованно, поэтому никто так не делает. И поэтому в некоторой степени в сообществе распознавания речи прогресс был непрерывным, но поэтапным, по крайней мере, до появления глубинного изучения в последние несколько лет.

Вы, кажется, стараетесь изо всех сил, чтобы отдалить вашу работу от неврологии и биологии. Например, вы говорите о «сверточных сетях», а не «сверточных нейронных сетях». И вы говорите о «единицах» в ваших алгоритмах, а не «нейронах».

Это правда. Некоторые аспекты нашей модели вдохновлены неврологией, но многие компоненты никак не относятся к нейронауке, и приходят из теории, интуиции или эмпирических исследований. Наши модели не стремятся быть моделями мозга, и мы не предъявляем претензии в отношении значимости для неврологии. Но в то же время, я не боюсь сказать, что архитектура сверточных сетей вдохновлена некоторыми базовыми знаниями о зрительной коре. Есть люди, которые косвенно получают вдохновение от неврологии, но которые не хотят этого признавать. Я признаю. Это очень полезно. Но я стараюсь не использовать слова, которые могли бы привести к обману. Потому что в этой области очень много обмана. А это очень опасно.

То, что выглядит, как наука, но наукой не является – это тоже обман

Обман – это плохо, но почему вы говорите, что это «опасно»?

Это определяет ожидания финансирующих учреждений, общественности, потенциальных клиентов, стартапов и инвесторов, и они считают, что мы находимся на пороге создания систем, которые также мощны, как мозг, когда на самом деле мы очень далеки от этого. Это может легко привести к еще одной «зиме».

И, наконец, в этом есть немного от науки самолетопоклонников. Адепты такой науки пытаются описать вещи, которые выглядят как наука, но в целом ей не являются.

Приведите примеры.

В науке самолетопоклонников вы воспроизводите внешний вид машины, не понимая принципов её создания. Вы строите радиостанции из соломы. Такая наука самолетопоклонников по отношению к воздухоплаванию – в которой по-настоящему строятся самолеты – заключалась бы в очень, очень близком копировании птиц. И люди сделали это еще в 19-м веке, но с очень ограниченным успехом.

Эквивалент в ИИ — попытаться скопировать каждую деталь, которую мы знаем о том, как работают нейроны и синапсы, а затем включить гигантскую симуляцию большой нейронной сети внутри суперкомпьютера и надеяться, что появится ИИ. Это наука самолетопоклонников в области ИИ. Есть очень серьезные люди, которые получают огромное количество денег, которые в целом (конечно, я здесь упрощаю) очень близки к такому подходу.

Считаете ли вы проект IBM True North такой наукой самолетопоклонников?

Это немного резко! Но я считаю, что некоторые из претензий со стороны группы IBM зашли слишком далеко, и их с легкостью неправильно интерпретировали. Некоторые из их заявлений выглядят впечатляюще на поверхности, но на самом деле не представляют никакой пользы. До проекта True North группа использовала суперкомпьютер IBM для «имитации мозга уровня крысы». Но это было только случайная сеть нейронов, которая не делала ничего полезного – лишь сжигала энергию.

«Если вы создаете чип сверточной сети (а как это сделать, довольно ясно), он может быть использован сразу во многих устройствах. Компания IBM создала бесполезную вещь. Они создали то, из чего мы ничего не можем сделать ничего полезного»

Печалит тот факт, что чип True North мог бы быть полезным, если бы его создали, не стараясь слишком близко придерживаться биологии и не внедряя «пиковые интегративно-пороговые нейроны». Создание чипа очень дорого. Поэтому, на мой взгляд (я раньше был разработчиком чипов), следует создавать чип только тогда, когда вы полностью уверены, что он может делать что-то полезное. Если вы создаете чип сверточной сети (а как это сделать, довольно ясно), он может быть использован сразу во многих устройствах. Компания IBM создала бесполезную вещь. Они создали то, из чего мы ничего не можем сделать ничего полезного.

Приведете еще какие-нибудь примеры?

Мне за это еще придется поплатиться, но в целом большая часть проекта человеческого мозга в Европе основана на идее, что мы должны создавать чипы, которые воспроизводят функционирование нейронов, насколько это возможно, а затем использовать их для создания гигантского компьютера, и когда мы включим его с помощью некоторого алгоритма обучения, появится ИИ. Я думаю, что это безумие.

Конечно, то, что я только что сказал, карикатура проекта человеческого мозга, это точно. И моя критика не относится ко всем людям, которые участвуют в проекте. Многие участники участвуют просто потому, что это очень хороший источник финансирования, который они не могут позволить себе упустить.

Неконтролируемое обучение: обучение, которое необходимо машинам

Сколько в целом еще предстоит узнать о машинном обучении?

Много. Тип обучения, который мы используем в реальных системах глубинного обучения, очень ограничен. То, что работает для глубинного обучения, работает на практике, — «контролируемое» обучение. Вы показываете системе картинку и говорите ей, что это машина, и она корректирует свои параметры, чтобы сказать «машина» в следующий раз. Затем вы показываете ей кресло. Затем человека. И после нескольких миллионов примеров и после нескольких дней или недель вычислений, в зависимости от размера системы, машина начинает понимать разницу.

А вот люди и животные обучаются не так. Вам не говорят название каждого объекта, на который вы смотрите, еще будучи ребенком. И все же понятие об объектах, понятие о том, что мир является трехмерным, понятие о том, что, когда я положил объект за другой, объект по-прежнему существует, – этому вы на самом деле обучаетесь. Вы не родились с этими понятиями: вы узнаете их. Мы называем этот тип обучения «неконтролируемое» обучение.

Многие из нас участвовали в возрождении глубинного обучения в середине 2000-х годов, в том числе Джеффри Хинтон (Geoff Hinton), Йошуа Бэнгио (Yoshua Bengio), и я – в так называемом «заговоре глубинного обучения», – а также Эндрю Ын (Andrew Ng); все это началось с идеи большего использования неконтролируемого обучения по сравнению с контролируемым. Неконтролируемое обучение может помочь с «предварительной подготовкой» очень глубоких сетей. У нас был довольно большой успех, но, в конце концов, на практике работает старое доброе обучение с учителем, но в сочетании со сверточными сетями, которые мы имели более 20 лет назад.

Но с исследовательской точки зрения мы были заинтересованы в том, как должным образом создать неконтролируемое обучение. Теперь у нас есть неконтролируемые технологии, которые действительно работают. Проблема в том, что вы можете побить их, просто собрав больше данных и затем используя контролируемое обучение. Вот почему в промышленности все применение глубинного обучения в настоящее время контролируется. Но в будущем все будет по-другому.

Суть в том, что мозг гораздо лучше, чем наша модель, выполняет неконтролируемое обучение. Это означает, что в наших системах искусственного обучения отсутствуют некоторые основные принципы биологического обучения.

Facebook использует глубинное обучение

Каковы причины, по которым Facebook заинтересован в том, чтобы создать лабораторию ИИ?

Девиз Facebook – соединять людей. Все больше это также означает объединение людей в цифровом мире. В конце 2013 года, когда Марк Цукерберг (Mark Zuckerberg) решил создать Facebook AI Research, организацию, которой я руковожу, Facebook исполнялось 10 лет. Компания подумала о том, что будет означать «объединение людей» через 10 лет, и поняла, что ИИ будет играть ключевую роль.

Большая часть нашей работы в Facebook AI концентрируется на разработке новых теорий, принципов, методов и систем, которые заставляют машины понимать картинки, видео, речи и язык, а затем рассуждать о них.

Facebook потенциально может показывать каждому человеку на Facebook около 2 000 единиц в день: сообщения, фотографии, видео и т.д. Но ни у кого нет на это времени. Следовательно, Facebook должен автоматически выбирать 100 – 150 единиц, которые пользователи хотят увидеть, или которые им нужно увидеть. Чтобы хорошо с этим справляться, требуется понимать людей, их вкусы, интересы, отношения, стремления и даже цели в жизни. Это также требует понимания контента: понимание того, о чем говорится в посте или комментарии, что содержит изображение или видео, и т.д. Только тогда можно выбрать наиболее подходящий контент и показать его человеку. В некотором смысле, идеальная работа – это проблема «полного ИИ»: она требует понимания людей, эмоций, культуры, искусства. Большая часть нашей работы в Facebook AI концентрируется на разработке новых теорий, принципов, методов и систем, которые заставляют машины понимать картинки, видео, речи и язык, а затем рассуждать о них.

Ранее мы говорили об обмане, и у меня тоже есть жалоба на обман. Компания Facebook недавно объявила появление алгоритма проверки лица под названием DeepFace с результатами, которые, как сообщается, близки к распознаванию лиц подобно человеку. Но разве данные результаты не касаются только тщательно отобранных наборов данных? Будет система иметь такой же успех, если ее использовать для любых снимков, выбранных случайно в Интернете?

Система более чувствительна к качеству изображения, чем люди, это точно. Люди могут распознавать лица во многих различных конфигурациях, с волосами на лице или без них и т.д.; компьютерные системы же немного более чувствительны к таким вещам. Но эти системы могут распознать людей из очень большого набора изображений людей, гораздо больших набора, чем те, с которыми может справится человек.

Т.е. может ли DeepFace, просматривая изображения, лучше, чем я, найти, скажем, изображение Обамы?

Технология сделает это быстрее, это точно.

Будет ли результат более точным?

Скорее всего, нет. Нет. Но эта технология может потенциально распознавать людей из сотен миллионов. Это больше, чем могу я!

Будет ли она работать с точностью в 97,25%, как это в исследовании?

Сложно назвать число, если нет набора данных, на котором можно было бы систему проверить. Это полностью зависит от характера данных. Если в галерее сотни миллионов лиц, то точность и близко не будет 97,25%.

Мне кажется, одна из проблем заключается в том, что исследователи в области компьютеров используют некоторые фразы в другом смысле, чем это делают любители. Поэтому если исследователь говорит об «уровне точности», он может иметь в виду, что такой результат получается со специально отобранными наборами данных. А любители могут подумать, что компьютеры смотрят на те же самые случайные картинки, на которые мы смотрим каждый день. Но основное здесь то, что заявления, сделанные в отношении компьютерных систем, обычно должны быть с большим количеством оговорок, чем они обычно представлены в новостях.

Да, мы работаем над некоторым количеством известных критериев, например, Labeled Faces in the Wild, которые используют и другие группы, чтобы сравнивать наши методы с методами других.

А в целом, насколько близко к человеку будет компьютер в отношении распознавания лиц, в ситуации с реальными изображениями, которые можно найти в Интернете?

Цифры будут достаточно близкими.

А вы можете назвать эти цифры?

Нет, не могу, потому что существуют разные сценарии.

Насколько хорошо справляется глубинное обучение в других областях, помимо распознавания изображений, особенно с проблемами, связанными с общим интеллектом, например, с естественными языками.

Многое из того, над чем мы работаем в Facebook, связано с этой областью. Как совместить преимущества глубинного обучения, с его способностью представлять мир посредством обучения, с такими вещами, как накопление знаний от временного сигнала, что происходит с языком, с возможностью рассуждения, с возможность хранить знания иначе, чем современные системы глубинного обучения могут хранить его. В настоящее время ситуация с системами глубинного обучения напоминает получение двигательного навыка. Мы обучаем их аналогично тому, как вы учитесь ездить на велосипеде. Вы получаете навык, но не огромное количество фактической памяти или знаний.

Но есть и другие типы вещей, которым вы обучаетесь, когда вы должны помнить, факты, когда вы должны запоминать вещи и уметь хранить их. Сейчас очень много работы в Facebook, в Google и в различных других компаниях, в которых мы пытаемся получить нейронную сеть с одной стороны, а также отдельный модуль с другой стороны, который используется в качестве памяти. И это можно использовать, например, для понимания естественного языка.

Мы уже видим впечатляющие результаты в обработке естественного языка с помощью глубинного обучения, дополненного модулем памяти. Эти системы основаны на идее, в которой слова и предложения представляются с помощью непрерывными векторов, происходит трансформация этих векторов через слои глубинной архитектуры, и сохранение их в виде ассоциативной памяти. Это очень хорошо работает для вопросов и ответов и языкового перевода. Конкретная модель этого типа под названием «Сеть Памяти» была недавно предложена Facebook, учеными Джейсоном Уэстоном (Jason Weston), Сумитом Чопра (Sumit Chopra), и Антуаном Бордесом (Antoine Bordes). Немного похожая идея под названием «Нейронная машина Тьюринга» была также предложена учеными Google/Deep Mind.

Т.е. вы не думаете, что глубинное обучение будет единственным инструментом, который раскроет тайны интеллекта?

Много людей работают над тем, что называется «периодические нейронные сети»… Это можно использовать, чтобы обработать последовательные сигналы, например, речь, аудио, видео и язык. Есть довольно хорошие предварительные результаты. Следующий рубеж для глубинного обучения — понимание естественного языка»

Это будет частью решения. И, на каком-то уровне, решение будет выглядеть как очень большая и сложная нейронная сеть. Но это будет очень отличаться от того, что люди до сих пор видели в литературе. Сейчас уже можно увидеть труды о том, о чем я говорю. Много людей работают над тем, что называется «периодические нейронные сети». Это сети, в которых информация на выходе возвращается обратно на вход, так что получается цепочку рассуждений. Это можно использовать, чтобы обработать последовательные сигналы, например, речь, аудио, видео и язык. Есть довольно хорошие предварительные результаты. Следующий рубеж для глубинного обучения — понимание естественного языка.

Если все пойдет хорошо, что в скором времени смогут делать машины?

Возможно, появятся лучшие системы распознавания речи. Но они будут своего рода скрыты. Ваш «цифровой спутник» станет лучше. Вы увидите лучшие системы вопроса-ответа и диалога, так что вы можете общаться с компьютером; вы сможете задавать вопросы, и машина даст вам ответы некоторых баз знаний. Будет лучший машинный перевод. О, и вы увидите самоуправляемые автомобили и более умных роботов. В самоуправляемых автомобилях будут использоваться свёрточные сети.

Может ли глубинное обучение дать машинам сознание?

Готовясь к интервью, я спросил некоторых людей из компьютерной области, о чем бы они хотели вас спросить. Орен Этциони (Oren Etzioni), глава Института искусственного интеллекта Аллена, особенно интересовался Winograd Schemas, в которых участвуют не только естественный язык и сознание, но и даже понимание того, как работает современный общество. Какие подходы может применить к ним компьютер?

Вопрос здесь в том, как представить знания. В «традиционном» ИИ, фактические знания вводится вручную, часто в виде графика, то есть, это набор символов или единиц и связей. Но мы все знаем, что системы ИИ должны быть в состоянии приобрести знания автоматически с помощью обучения. Появляется вопрос: «Как машины могут научиться представлять реляционные и фактические знания?» Глубинное обучение, безусловно, является частью решения, но это не весь ответ. Проблема с символами заключается в том, что символ является бессмысленной последовательностью битов. В системах глубинного обучения единицы представлены крупными векторами чисел, извлеченных из данных, и представляют их свойства. Обучение рассуждению сводится к функциям обучения, которое работает на этих векторах. Исследователи Facebook, такие как Джейсон Уэстон, Ронан Коллоберт (Ronan Collobert), Антуан Бордес (Antoine Bordes) и Томас Миколов (Tomas Mikolov) были первыми, кто использовал вектора для представления слов и языка.

Одной из классических проблем ИИ является придание машинам сознания. Какие идеи у сообщества глубинного обучения на этот счет?

Лекун: Я думаю, что ту или иную форму здравого смысла можно получить с помощью предиктивного неконтролируемого обучения. Например, я мог бы сделать машину, чтобы просматривать множество видео, в которых объекты бросают или они падают. Дальше я бы показал ей кусок видео и затем задал вопрос: «Что будет дальше? Как будет выглядеть сцена через секунду?» Тренируя систему предсказывать, каким будет мир через секунду, минуту, час или день, вы сможете дать ей хорошее представление о мире. Это позволит машине узнать об ограничениях физического мира, таких как «Предметы, брошенные в воздух, как правило, падают через некоторое время», или «Один объект не может быть в двух местах одновременно», или «Объект по-прежнему присутствует, в то время как он перекрывается другим». Знания об ограничениях в мире позволят машине «заполнить пробелы» и прогнозировать состояние мира, когда ей рассказывают историю, содержащую ряд событий. Джейсон Уэстон, Сумит Чопра, и Антуан Бордес работают над такими системами здесь, в Facebook, с помощью Memory Network, которую я упоминал ранее.

При обсуждении человеческого интеллекта и сознания, многие ученые часто говорят, что мы даже не знаем, чего мы не знаем. Как вы думаете, это относится к попыткам создать искусственный интеллект?

Я говорил, что работа над ИИ – это как вести машину в тумане. Вы видите дорогу и следуете по ней, но потом вдруг видите кирпичную стену прямо перед вами.

Эта история повторялась снова и снова в отношении ИИ; с Perceptrons в 50-х и 60-х годам, затем с синтаксическим и символическим подходом в 70-х годах, а затем с экспертными системами в 80-х, а затем с нейронными сетями в начале 90-х годов, а затем с графическими моделями, ядерными машинами и т.д. Каждый раз есть определенный прогресс и новое понимание. Но также есть и ограничения, которые необходимо преодолеть.

Еще один вопрос, на этот раз от Стюарта (Stuart) и Хьюберта Дрейфусов (Hubert Dreyfus)братьев и известных профессоров в Калифорнийском университете в Беркли: «Что вы думаете о сообщениях в печати, что компьютеры в настоящее время достаточно сильны, чтобы быть в состоянии идентифицировать и атаковать цели самостоятельно, и что вы думаете о морали в этом отношении?»

Я не думаю, что нравственные вопросы должны быть оставлены на одних ученых! Есть этические вопросы, связанные ИИ, которые необходимо обсуждать. В конце концов, мы должны установить этические принципы о том, как ИИ может и не может быть использован. Это не новая проблема. Общества имели дело с этическими вопросами, связанными со многими мощными технологиями, такими как ядерное и химическое оружие, ядерная энергетика, биотехнологии, генные манипуляции и клонирование, доступ к информации. Я лично не думаю, что машины должны быть в состоянии атаковать цели без участия человека, принимающего решение. Но, опять же, моральные вопросы, такие, как эти, должны рассматриваться в совокупности посредством демократического / политического процесса

Вы часто делаете довольно едкие комментарии по поводу политических вопросов. Беспокоит ли это ваших кураторов в Facebook?

Есть некоторые вещи, которые выводят меня собой. Одним из них является политические решения, которые не основаны на реальности и доказательствах. Я реагирую, как только некоторые важные решения принимаются не на рациональной основе. Умные люди могут не согласиться относительно лучшего способа решить проблему, но когда люди не согласны относительно фактов, которые являются установленными, я думаю, это очень опасно. Это то, что к чему я призываю людей. Просто так случилось, что в этой стране, люди, которые находятся на стороне иррациональных и религиозных решений, находятся, в основном, справа. Но я также бросаю вызов людям слева, таким, как те, которые думают, что все ГМО – зло (только некоторые из них!) или которые против прививок или ядерной энергии по нерациональным причинам. Я рационалист. Я также атеист и гуманист; я не боюсь произносить это. Мое понимание морали – это максимизация общего человеческого счастья и сведение к минимуму человеческих страданий в течение длительного срока. Это мое личное мнение, которое не связано с моим работодателем. Я стараюсь четко разделять между мои личными убеждения, которые я публикую в моей личной ленте в Facebook, и мою профессиональную деятельность, которую я публикую на своей публичной странице в Facebook.

Неминуемые вопросы о сингулярности

Вы уже выразили свое несогласие со многими идеями, связанными с движением сингулярности. Мне интересно ваше мнение об этом движении. Чем вы объясняете его популярность в Кремниевой долине?

Я слегка озадачен этим явлением. Как отметил Нейл Джершенфелд (Neil Gershenfeld), первая часть сигмовидной функции выглядит как экспоненциальная. Это еще один способ сказать, что то, что в настоящее время выглядит как экспоненциальный прогресс, скорее всего, имеет некоторые ограничения – физические, экономические, социальное, – затем проходит точку перегиба, а затем насыщается. Я оптимист, но я также реалист.

«Есть люди, от которых вы ожидали бы, чтобы они раздули Сингулярность, как Рэй Курцвейл (Ray Kurzweil). Он футурист… Но он не внес никакого вклада в науку о ИИ, насколько я могу судить».

Есть люди, от которых вы ожидали бы, чтобы они раздули Сингулярность, как Рэй Курцвейл. Он футурист. Ему нравится этот позитивистский взгляд на будущее. Он продает много книг таким образом. Но он не внес никакого вклада в науку о ИИ, насколько я могу судить. Он продал продукты, основанные на технологиях, некоторые из которых были слегка инновационными, но ничего принципиально нового в них не было. И, конечно, он никогда не писал статьи, которые научили мир чему-нибудь о том, как добиться прогресса в области ИИ.

Как вы думаете, чего он сможет добиться на своем месте в Google?

Пока он достиг не многого.

Я часто замечаю, когда разговариваю с исследователями о сингулярности, что в то время как в частном разговоре они чрезвычайно пренебрежительно отзываются о ней, а на публике они гораздо более сдержанны в своих замечаниях. Это потому, что так много влиятельных людей в Кремниевой долине в это верит?

Исследователи ИИ должны соблюдать тонкий баланс: быть оптимистичными в том, чем можно достичь, но не переоценивать то, что можно сделать. Надо указать, как трудна работа, но не так, чтобы это звучало безнадежно. Вы должны быть честны со своими спонсорами, работодателями, коллегами, с общественностью и с самим собой. Это трудно, когда есть много неопределенности в отношении будущего прогресса и когда менее честные или в большей степени обманывающие себя люди делают необдуманные претензии насчет будущего успеха. Вот почему мы не хотели шумихи: она создается людьми, которые либо не честны, либо обманывают себя, что делает жизнь серьезных и честных ученых значительно сложнее.

Когда вы находитесь в таком положении, как Ларри Пейдж (Larry Page), Сергей Брин, Илон Маск (Elon Musk) и Марк Цукерберг (Mark Zuckerberg), вы должны подготовиться к тому, какой технология будет в долгосрочной перспективе. И у вас есть огромное количество ресурсов, чтобы создать такое будущее, которое, по вашему мнению, будет хорошим. Так, неизбежно вам приходится задаваться такими вопросами: какой будет технология через 10, 20, 30 лет. Это заставляет вас думать о вопросах, как прогресс ИИ, Сингулярность и вопросы этики.

Точно. Но у вас должно быть очень четкое представление о том, как будут развиваться компьютеры, и я не думаю, что вы верите, что через 30 лет мы будем загружать наше сознание в них.

Не в ближайшее время

Или никогда.

Нет, нельзя говорит «никогда»; технология развивается очень быстро и ускоряется. Но существуют вещи, о которых стоит побеспокоиться сегодня, и есть вещи, которые еще настолько далеки, что мы можем писать научную фантастику о них, но сейчас нет необходимости беспокоиться об этом прямо сейчас.

«Иногда мне надо построить что-нибудь своими руками»

Еще один вопрос от исследователя. Создатель C++ Бьерн Страуструп спрашивает: «Раньше у вас были действительно крутые игрушки, и многие из них летали. У вас все еще остается время на хобби, или работа забирает все время, отведенное на развлечения?»

На моей работе очень много развлечений. Но иногда мне хочется построить что-нибудь своими руками. Это передалось мне от моего отца, авиационного инженера. Мои отец и брат также строят самолеты. Поэтому, когда я еду в отпуск во Францию, мы расслабляемся и строим самолеты в течение трех недель.

Что за самолет на вашей странице в Google+?

Это Leduc, находится в авиационном музее недалеко от Парижа. Мне нравится этот самолет. Это был первый самолет с прямоточным воздушно-реактивным двигателем – особым видом двигателя, способного на достижение очень высокой скорости. SR-71 Blackbird, возможно, самый быстрый самолет в мире, использует гибридные двигатели ПВРД-ТРД. Первый Leduc был прототипом, который был построен во Франции до Второй мировой войны, и его пришлось уничтожить, прежде чем немцы вторглись. Несколько самолетов были построены после войны. Это был очень инновационный способ; он никогда не был практичным, но это было здорово. И выглядит он здорово. У него невероятная форма, в которой все предназначено для скорости, но за счет удобства для пилота. Шум от ПВРД, должно быть, был невыносимым для пилота.

Вы рассказывали забавную историю в одном из постов о том, как столкнулись с Марри Гелл-Маном (Murray Gell-Mann) много лет назад, и он поправил вас в произношении вашей же фамилии. Вы, казалось, повеселились при мысли об этом уважаемом, но напыщенном старшем ученом. Теперь, когда вы сами становится весьма уважаемым ученым, вы не боитесь, что станете таким же?

Я стараюсь не пользоваться своим положением. Это очень важно, когда вы руководите лабораторией, как я, — сделать так, чтобы дать молодым людям проявлять свои творческие способности. Творчество стариков на основано на том, что они знают, в то время как творчество молодых людей основывается на том, чего они не знают. Что дает более широкий диапазон для изучения. Мы не хотим задавать энтузиазм. Взаимодействие с докторантами и молодыми исследователями – очень хорошее средство против высокомерия. Я думаю, я не напыщен, Facebook – совсем не напыщенная компания. Так что мы друг другу подходим.

Источник

Читайте также:

FST. ТИМ УРБАН: МЕНЯ ЗАХВАТИЛИ ИДЕИ, КОТОРЫЕ МЕНЯЮТ МИР

 

УОЛТЕР ПИТС И ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

 

ТИМ УРБАН: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ