Стюарт Рассел

Что такое искусственный интеллект?

ИИ - это исследование того, как сделать машины действующими разумно. Грубо говоря, компьютер разумен в тех пределах, в которых он делает правильные вещи, а не неправильные. Правильным действием считается такое, которое позволяет с наибольшей вероятностью достичь цели. Или, выражаясь техническим языком, действие, которое максимизирует ожидаемую полезность. Создание искусственного интеллекта (ИИ) включает в себя решение проблем машинного обучения, рассуждения, планирования, восприятия, понимания языков, а также робототехники.

Распространённые заблуждения

ИИ - это конкретная технология. Например, в 1980-е и 1990-е годы часто приходилось видеть статьи, в которых ИИ приравнивался к экспертным системам (основанным на наборах правил); в 2010-х годах ИИ приравнивали к нейронным сетям (в основном, многослойным сверточным). Это примерно как подменять изучение физических законов - проектированием паровых машин. Исследования ИИ относятся к общей проблеме создания интеллекта в машинах; ИИ - не какой-то особый технический продукт, возникший в результате исследования данной проблемы.

ИИ - это особый класс технических подходов. Например, часто приходится видеть авторов статей, считающих, что ИИ должен быть основан на логическом или символьном подходе и противопоставляют этому, например, нейронные сети или генетическое программирование. ИИ - это не подход, это проблема. Любой подход к решению проблемы считается вкладом в развитие ИИ.

ИИ - это особое сообщество исследователей. Данное утверждение связано с предыдущим заблуждением. Некоторые авторы используют термин «вычислительный интеллект», упоминая некое якобы обособленное сообщество исследователей, использующих нейронные сети, нечеткую логику, генетические алгоритмы. Такой подход крайне неудачен, поскольку побуждает исследователей опираться только на те методы, которые приняты в их сообществе, а не на те, которые имеют смысл для поставленной задачи.

ИИ - это просто алгоритм. Строго говоря, такое мнение не является заблуждением, поскольку системы ИИ, как и компьютеры для любых других применений, построены на основе алгоритмов (которыми в широком смысле можно считать программы). Однако род задач, решаемых с помощью ИИ, имеют тенденцию сильно отличаться от традиционных алгоритмических задач, таких как сортировка списков чисел или извлечение квадратных корней.

Каким образом ИИ будет приносить пользу обществу?

Всё, из чего состоит цивилизация, является продуктом нашего разума. ИИ позволяет расширить наши интеллектуальные возможности различными способами, подобно тому, как подъемные краны позволяют нам передвигать сотни тонн груза, самолеты позволяют нам перемещаться на со скоростью в несколько сотен километров в час, а телескопы позволяют нам наблюдать объекты на расстоянии в триллионы миль. Системы ИИ, спроектированные должным образом, позволят реализовывать человеческие ценности в гораздо большем масштабе.

Распространенные заблуждения

ИИ обязательно приведет к бесчеловечности. Во многих антиутопичных сценариях описывается, как злодеи используют ИИ для того, чтобы контролировать общество различными способами: слежкой, роботами-полицейскими, автоматизированным «правосудием» или командно-административной экономикой. Хотя такие варианты будущего несомненно возможны, большинство людей не будет поддерживать их. С другой стороны, ИИ предоставляет людям лучший доступ к знаниям и индивидуальному обучению; устраняет языковые барьеры; ликвидирует бессмысленную и однообразную тяжелую работу, низводящую людей до положения… эээ… роботов.

ИИ обязательно усилит социальное неравенство. Вполне возможно, что всё бо́льшая и бо́льшая автоматизация труда приведет к тому, что прибыли и богатства будут концентрироваться в руках все меньшего и меньшего числа людей. Однако у нас есть выбор в том, как именно использовать ИИ. Например, ИИ может способствовать взаимовыгодному сотрудничеству, связывать производителей с потребителями, что позволит большему количеству отдельных людей и мелких групп напрямую участвовать в экономике вместо того, чтобы зависеть от крупных корпораций-работодателей.

Что такое машинное обучение?

Это раздел ИИ, который изучает способы, которые позволят компьютерам повышать эффективность своих действий с помощью накопленного опыта.

Распространенные заблуждения

Машинное обучение - это новая область, которая большей частью заменила ИИ. По-видимому, данное заблуждение - неожиданный побочный эффект недавнего роста интереса к машинному обучению, в результате которого в на курсы машинного обучения поступают студенты, не имевшие раньше дела с ИИ. Машинное обучение всегда было центральной темой ИИ: Тьюринг в статье 1950 г. утверждал, что обучение - это наиболее вероятный путь к ИИ, а самый успешный ранний ИИ, шахматная программа Артура Самуэля, был создан с использованием машинного обучения.

Машины не могут учиться, они делают только то, что программисты приказали им делать. Программист может приказать машине учиться! Самуэль был отвратительным шахматистом, но его программа быстро научилась играть намного лучше его. В наши дни многие важные системы ИИ построены методом машинного обучения на основе больших объемов данных.

Что такое нейронная сеть?

Нейронная сеть - вид вычислительной системы, которая имитирует свойства нейронов в живых организмах. Нейронная сеть построена из множества отдельных элементов, каждый из которых получает входной сигнал от одних элементов и посылает выходной сигнал другим элементам. (Эти элементы необязательно должны существовать физически, они могут быть компонентами компьютерной программы.) Выходной сигнал искусственного нейрона обычно вычисляется, исходя из взвешенной суммы входящих сигналов, причем она подвергается некой простой нелинейной трансформации. Ключевым тут является то, что вес каждой из межнейронных связей может быть откорректирован на основе полученного опыта.

Распространенные заблуждения

Нейронная сеть - это новый вид компьютеров. Практически все нейронные сети моделируются на обычных компьютерах, предназначенных для общих целей. Мы можем построить специализированные компьютеры (их иногда называют нейроморфическими) для более эффективного моделирования нейронных сетей. До сих пор нейроморфические компьютеры не продемонстрировали достаточных преимуществ, чтобы оправдать их более высокую стоимость и затраты времени на конструирование.

Нейронные сети действуют так же, как и мозг. Реальные нейроны - это гораздо более сложные образования, чем те простые элементы, которые используются в искусственных нейронных сетях. В природе существует много различных типов нейронов и связи между нейронами могут с течением времени меняться; помимо коммуникации между нейронами, мозг задействует и другие механизмы для корректировки поведения; и так далее.

Что такое глубинное обучение?

Глубинное обучение - отдельный вид машинного обучения, при котором обучаются нейронные сети, состоящие из многих слоев. Глубинное обучение стало очень популярным за последние годы и привело к существенному прогрессу в решении таких задач, как распознавание речи и визуальных объектов.

Распространенные заблуждения

• Глубинное обучение - это новая область, которая в значительной мере вытеснит машинное обучение. Сообщество исследователей нейронных сетей занимается глубинным обучением уже больше двадцати лет. Недавние успехи достигнуты за счет относительно малого усовершенствования алгоритмов и моделей, а также за счет доступности объемных наборов данных и гораздо более мощных наборов компьютеров.

Что такое сильный и слабый ИИ?

Термины «сильный ИИ» и «слабый ИИ» были введены философом Джоном Сёрлом в отношении к двум различным гипотезам, выдвинутым, по его мнению, исследователями ИИ. Согласно гипотезе слабого ИИ, машины можно запрограммировать таким образом, что они будут вести себя как имеющие интеллект человеческого уровня. Согласно гипотезе сильного ИИ, подобные машины можно считать имеющими сознание и описывать их как действительно думающих и рассуждающих, используя эти слова в том же смысле, который применяется к людям.

Распространенные заблуждения

• «Сильный ИИ» означает исследования ИИ, целью которых служит универсальный ИИ человеческого уровня. Это допустимая интерпретация термина «сильный ИИ», хотя это не то, что он означал при своем появлении в 1980 г. Аналогично, «слабый ИИ» используют для описания ИИ, нацеленного на специфические, узкие задачи, такие как распознавание речи или создание рекомендательных систем. (Также известен как «инструментальный ИИ».) Конечно, ни у кого нет авторского права на эти термины, однако использование существующих технических терминов для обозначения чего-то совсем другого легко приводит к путанице.

Что такое УИИ, ИСИ и сверхразум?

УИИ означает “универсальный ИИ”. Этот термин использутеся для отсылки к амбициозной задаче по созданию универсальных разумных систем, диапазон задач которых как минимум сопоставим с диапазоном задач, за которые могут браться люди.
ИСИ означает “искусственный сверхразум”, это ИИ, существенно превосходящий человеческий интеллект. Точнее говоря, сверхразумная система - такая, которая превосходит людей по способности выдавать высококачественные решения, которые учитывают больше факторов и дальше заглядывают в будущее.

Распространенные заблуждения

Ведущих исследователей ИИ не заботит УИИ. Конечно, в таких областях, как распознавание речи, есть исследователи, которые работают большей частью над специфическими задачами в своей области. Также некоторые исследователи преимущественно занимаются поисками коммерческих применений для существующих технологий. Тем не менее, у меня сложилось впечатление, что большинство исследователей ИИ в таких областях, как машинное обучение, аргументация и планирование, вносят свой вклад в решение задачи получения УИИ.

Люди обладают “универсальным” интеллектом. Данное утверждение обычно считают настолько очевидным, что не указывают его явно, но оно подразумевается практически во всех дискуссиях об УИИ. Его обычно обосновывают тем, что люди способны выполнять широкий спектр задач и работ. Но, разумеется, нет такой человеческой профессии, которую человек не мог бы выполнять, поэтому нет ничего удивительного в том, что люди могут быть заняты в широком диапазоне существующих человеческих профессий. Трудно придумать такое определение широты разума, которое бы не зависело от людских когнитивных искажений и ошибок, например, антропоцентризма. Так что мы остаёмся с утверждением, что люди разумны “универсально” в том смысле, что могут делать все вещи, которые люди могут делать. Когда-нибудь удастся приемлемым образом сформулировать, что люди могут многое, а до тех пор вопрос остается открытым.

Что такое закон Мура?

Термин «закон Мура» основывется на фактах и на предсказаниях экспоненциального роста плотности и/или производительности электронных схем. В современной трактовке, отходящей от оригинального заявления Мура, этот закон можно сформулировать так: скорость вычислений, которую можно получить за определённую сумму, удваивается каждые N месяцев, где N примерно равно 18.

Распространенные заблуждения

Закон Мура - это физический закон. На самом деле, этот закон представляет собой сумму эмпирических наблюдений за технологическим прогрессом; нет ничего, что делало бы его выполнение обязательным, и, конечно, он не будет оставаться справедливым бесконечно долго. Тактовая частота процессоров уже сейчас вышла на плато, и соотношение цена/производительность в последнее время улучшается за счет увеличения числа ядер (процессоров) на одном чипе.

Быстродействие машин возрастает с такой скоростью, что создание более эффективных алгоритмов - пустая трата времени. На деле же несложные улучшения в алгоритмах часто оказываются намного более значимыми, чем усовершенствования аппаратной части.

Позволяет ли закон Мура предсказать появление сверхразума?

Нет. Есть много вещей, которые системы ИИ не могут делать, например, понимать сложные тексты на естественных языках. Прибавка скорости в подобных случаях означает просто более быстрое получение неправильного ответа. Для создания сверхразума нужны крупные концептуальные прорывы, которые трудно предсказать. Появление более быстрых машин мало чем может помочь.

Распространенные заблуждения

• Наращивание мощи машин означает увеличение их интеллекта. Эта тема очень часто поднимается в дискуссиях о будущем ИИ, однако она берет свое происхождение из путаницы между понятием «мощный» применительно к человеческому интеллекту и намного более простым понятием «мощный» при описании компьютеров, т. е. числа операций в секунду.

Что такое машинный IQ?

Не существует такой вещи, как машинный IQ. До той степени, до которой интеллектуальные возможности личности сильно зависят друг от друга при выполнении множества задач, можно говорить о том, что люди имеют IQ, хотя многие исследователи оспаривают полезность любой одномерной шкалы. С другой стороны, возможности машины могут никак не соотноситься между собой: машина может победить чемпиона мира по шахматам и при этом совершенно не уметь играть в шашки или любую другую настольную игру. Машина, лучше всех справившаяся с контрольной работой, может оказаться неспособной ответить на простой вопрос о том, как ее зовут.

Распространенные заблуждения

• Машинный IQ возрастает согласно закону Мура. Поскольку такой вещи, как машинный IQ, не существует, он не может возрастать. Закон Мура относится к только к «сырой» производительности компьютера и никак не связан с существованием алгоритмов, способных решить ту или иную конкретную задачу.

Что такое взрывное развитие ИИ?

Термин «взрывное развитие интеллекта» был введен И.Д. Гудом в 1965 г. в эссе «Размышления о первой ультраинтеллектуальной машине». В эссе описывалась возможность того, что достаточно интеллектуальная машина окажется способной реконструировать свою аппаратную и программную часть с тем, чтобы создать еще более интеллектуальную машину. Процесс будет повторяться, пока «интеллект человека не останется далеко позади».

Распространенные заблуждения

• Как только машины достигнут интеллекта человеческого уровня, взрывное развитие ИИ станет неизбежным. С другой стороны, логически возможно, что проблема проектирования поколения N + 1 слишком сложна для любой машины поколения N. Также вероятно, что построенные нами машины будут превосходить людей в одних важных аспектах, но отставать от них в других. Они могут превзойти людей в решении важных проблем, таких как проблема нищеты, лечение рака и т.п., оставаясь при этом неспособными предложить что-то новаторское в области исследований ИИ.

Когда системы ИИ станут более разумными, чем люди?

На этот вопрос ответить трудно и тому есть несколько причин. Во-первых, слово «станут» подразумевает, что это вопрос прогнозирования, подобно предсказанию погоды, в то время как на самом деле он содержит элемент выбора: названное событие вряд ли когда-нибудь случится, если человечество решит не преследовать данную цель. Во-вторых, фраза «более разумные» подразумевает простую линейную шкалу интеллекта, которой в реальности не существует. Машины уже намного лучше людей выполняют некоторые задачи, и намного хуже - другие. В-третьих, если допустить существование какого-нибудь приемлемого понятия универсального интеллекта, который можно создать у машин, тогда вопрос приобретает смысл, но на него все равно очень сложно ответить. Получение интеллекта такого уровня потребовало бы значительных прорывов в исследовании ИИ, а их чрезвычайно трудно предсказать. Тем не менее, большинство исследователей ИИ полагают, что системы ИИ превзойдут по разумности людей уже в этом столетии.

Распространенные заблуждения

• Этого никогда не случится. Делать прогнозы о научных прорывах - на редкость неблагодарное занятие. Так, 11 сентября 1933 г. лорд Резерфорд, пожалуй, самый известный ядерный физик своего времени, сказал большой аудитории на ежегодном съезде Британской ассоциации содействия развития науки, что «Каждый, кто надеется, что преобразования атомных ядер станут источником энергии, исповедует вздор». (Он говорил аналогичные вещи во многих других случаях, используя множество формулировок, все из которых по существу означали, что высвобождение ядерной энергии невозможно.) На следующее утро Лео Силард открыл индуцированную нейтронами цепную ядерную реакцию, и вскоре после этого запатентовал ядерный реактор.

Что могут системы ИИ сейчас?

Диапазон задач, которых машины делают заметные успехи, намного шире, чем несколько лет назад. Он включает игру в настольные игры, включая карты, ответы на простые вопросы, извлечение фактов из газетных статей, сборку сложных объектов, перевод текста с одного языка на другой, распознавание речи, распознавание разнообразных видов объектов на изображения, а также управление автомобилем в большинстве обычных ситуаций дорожного движения. Существует также множество менее очевидных задач, выполняемых системами ИИ, в том числе выявление мошеннических транзакций по кредитным картам, оценка заявок на кредит и торги на сложных электронных аукционах. Многие функции поисковой системы на деле выполняются простыми формами ИИ.

Распространенные заблуждения

Такая задача, как, например, игра в шахматы, одинакова что для человека, что для машины. Это неверно; машину приходится «вести за ручку» в гораздо большей степени. Люди учатся шахматам, слушая или читая правила, наблюдая и играя. Типичная шахматная программа лишена такой возможности. Правила непосредственно закладываются в машину в форме алгоритма, который генерирует все разрешенные ходы для заданной позиции. Машина не «знает» правила в том смысле, в каком их знает человек. Однако некоторые недавние работы по обучению с подкреплением представляют собой исключение: так, система DeepMind для игры в видеоигры обучается каждой игре с нуля. В действительности неизвестно, в чем состоит ее обучение, но представляется маловероятным, что она учит правила каждой игры.

Машины выполняют задачи так же, как и человек. Часто мы не знаем, как люди делают те или иные вещи, однако крайне маловероятно, чтобы их действия совпадали с операциями типичной программы ИИ. Например, программы для игры в шахматы учитывают возможные будущие последовательности ходов, начиная с текущего позиции на доске, и сравнивают их последствия, в то время как люди часто опознают возможное преимущество, которое можно получить, а потом ищут ходы, позволяющие его достичь.
Если машина может выполнить задачу Х, то она сможет выполнить все задачи, доступные человеку, который способен решить задачу Х. См. вопрос о машинном IQ. В настоящее время машины не имеют универсального интеллекта в том смысле, что и человек, поэтому их способности часто очень узки.

Как ИИ повлияет на человечество в ближайшем будущем?

Очень вероятно, что в обозримом будущем появятся некоторые крупные новшества. Так, уже активно разрабатывается и тестируется автомобиль с системой автоматического управления. По меньшей мере одна компания обещала первые доставки грузов с их помощью в 2016 г. (Другие компании более осторожны, осознавая выпавшие им трудности.) Благодаря совершенствованию компьютерного зрения и передвижения с помощью ног стало практичным использовать роботов в неструктурированном окружении. К подобным задачам относятся сельское хозяйство, сервисное обслуживание техники, а также помощь людям (особенно престарелым и немощным) в домашних делах. Наконец, машины улучшили свое понимание речи, поэтому поисковые системы и «персональные помощники» на мобильных телефонах перешли от индексации веб-страниц к их пониманию, что привело к качественному улучшению способности таких систем отвечать на вопросы, синтезировать новую информацию, давать советы и сопоставлять факты. Кроме того, ИИ может сильно повлиять на такие области науки, как системная биология, в которых сложность и большой объем информации бросают вызов способностям человека.

Распространенные заблуждения

• Роботы готовы захватить власть. См. раздел «Когда системы ИИ станут более разумными, чем люди?» В подавляющем большинстве случаев прогресс в области ИИ происходит пошагово и относится к тому, как сделать компьютеры и роботов более полезными. Тем не менее, в долгосрочной перспективе проблема сохранения людского контроля остается важной.

Приведет ли прогресс ИИ и робототехники к тому, что большинство профессий, в настоящее время выполняемых людьми, перейдет к машинам?

Некоторые исследования, например, выполненное Frey and Osborne (2013), говорят о том, что из-за автоматизации в ближайшем будущем могут пострадать до половины профессий в США; другие авторы, например, Brynjolfsson and McAfee (2011), указывают, что процесс уже начался: медленный возврат к полной занятости после рецессии 2008 г., а также расхождение между повышением продуктивностью и стагнацией заработной платы являются последствиями повышенной автоматизации в профессиях, которые предусматривают рутинные операции. Принимая во внимание, что прогресс ИИ и робототехники продолжается, представляется неизбежным, что большинство профессий будет затронуто. Это не обязательно означает массовую безработицу, но может привести к большому сдвигу в структуре экономики и потребовать новых идей по организации работы и оплате.

Распространенные заблуждения

• Любая работа, которую выполняет робот, означает меньше работы для людей. Работа - не игра с нулевой суммой: человек, которому помогает команда роботов, может быть намного более продуктивным и, следовательно, гораздо более востребованным; без помощи роботов работа человека, сделанная с тем же самым старанием, может оказаться экономически неоправданной, и ни человек, ни роботы не делали бы ничего. Из тех же соображений доступность малярных кистей и валиков означает работу для маляров: если краску было бы необходимо наносить по капельке кончиком иглы, не было бы возможности нанимать маляров для покраски зданий.

Что такое дроны, автономное оружие и роботы-убийцы?

Дроны представляют собой летательные аппараты, которыми удаленно управляют люди; некоторые дроны несут оружие (обычно реактивные ракеты), запускаемые оператором. Автономное оружие - это любое устройство, которое автоматические выбирает и поражает (т. е. пытается разрушить) цель. Современные системы включают стационарные самонаводящиеся пулеметы (используются в корейской демилитаризованной зоне) и различные виды корабельных противоракетных комплексов. Быстро повышающаяся техническая возможность заменить человека-оператора дрона на полностью автоматическую систему привела к появлению летальных автономных комплексов вооружения (LAWS), которые стали субъектом дискуссии на Женевской конференции по разоружению. Термин «робот-убийца» описывает класс вооружений, который может включать средства передвижения на колесах или ногах, а также корабли, летательные аппараты и даже искусственных летающих «насекомых».

Распространенные заблуждения

• До полностью автономных систем вооружения осталось 20–30 лет. Данное утверждение повторяется во многих статьях о дискуссиях в Женеве по поводу LAWS. Источник этого заблуждения неясен, однако, по-видимому, оно проистекает из переоценки. Технологии развертывания автономных вооружений по большей части готовы к использованию; Министерство обороны Великобритании заявило без лишних деталей, таких как применение в морском бою, что создание полностью автономных вооружений «может быть осуществимым теперь».

Надо ли бояться роботов-убийц, кидающихся на всех или захватывающих власть во всем мире?

Если автономные вооружения будут развернуты, они столкнутся с теми же трудностями, что и обычные солдаты, которым приходится отличать друга от врага, мирных жителей от боевиков. Возможно, что произойдет тактический несчастный случай с гибелью гражданского населения, либо функционирование робота пострадает из-за радиотехнических помех либо кибератак. В свете последней проблемы некоторые военные эксперты предсказывают, что автономные вооружения будут закрытыми системами без электронной связи; с другой стороны, из-за этого будет труднее перехватить управление у автономного оператора, если система станет вести себя некорректно. В обозримом будущем автономные вооружения, вероятно, будут тактическими и станут выполнять задания ограниченного масштаба. Крайне маловероятно, чтобы их программировали для самостоятельной разработки планов глобального масштаба.

Распространенные заблуждения

• Мы можем просто нажать на выключатель. Выключатель сделает любую автономную систему вооружения уязвимой для кибератак, следовательно, такие каналы связи лучше отключать. Кроме того, если обладающей универсальным интеллектом системе дать задание для выполнения, у нее появится мотивация сопротивляться выключению.

Что такое экзистенциальный риск, связанный с ИИ? Он реален?

Ранние предостережения о риске, исходящем от ИИ, были довольно неопределенными. И.Д. Гуд добавил к своему предсказанию пользы от взрывного развития ИИ оговорку «при условии, что машина достаточно покорна, чтобы рассказать нам, как удержать контроль над собой». Есть общее ощущение, что наличие сверхразумных сущностей на нашей планете может быть причиной для тревоги; с другой стороны, более умные машины, как правило, более полезны, поэтому неочевидно, почему создание гораздо более умных машин обязательно принесет зло.

Тем не менее, доказательство очень простое.

1. Представьте сверхразумную систему, предназначенную для достижения определенной цели, точно указанной человеком-проектировщиком. Теперь представим, что эта цель не совсем согласуется с ценностями рода людского, определиться с которыми очень трудно (и это в лучшем случае).
2. Любая достаточно способная разумная система будет стремиться обеспечить непрерывность своего существования, а также захватить физические и компьютерные ресурсы - не ради себя, а для достижения успеха в выполнении задания.

И теперь у нас проблема. По сути это все та же старая история о джинне и лампе, об ученике чародея или царе Мидасе: вы получаете в точности то, что просите, а не то, что подразумеваете. В 1960 г. Норберт Винер, пионер теории автоматического управления, писал: «Если мы используем для достижения своих целей механическое средство, в работу которого не можем эффективно вмешаться, лучше быть совершенно уверенным в том, что цель, заложенная в машину, - эта именно та цель, которую мы действительно желаем». Марвин Минский придумал пример, в котором машину просят вычислить столько знаков числа пи, сколько возможно. Ник Бостром дал пример запроса на массу канцелярских скрепок . Человек интерпретирует эти цели, исходя из общечеловеческих целей, которые в частности подразумевают, что покрытие всей Земли компьютерными серверами или канцелярскими скрепками - это плохое решение. Высокоодаренная сущность, принимающая решения, особенно если благодаря Интернету она имеет доступ ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры, может бесповоротно изменить человечество. К счастью, сейчас природа проблемы несколько прояснилась, поэтому можно начать работу над ее решениями.

Распространенные заблуждения

Сверхразумные машины спонтанно обретают сознание, или же они по природе своей злы и ненавидят людей. Писатели-фантасты склонны делать одно или оба из этих допущений, чтобы создать антагонизм между машинами и людьми. Такие допущения не нужны и не мотивированы.

Системы ИИ разрабатываем мы, люди, так зачем нам разрушать самих себя? Некоторые защитники ИИ возражают, что поскольку системы ИИ строятся людьми, нет причин предполагать, что когда-нибудь мы построим нечто такое, чьей целью станет уничтожение человечества. Они не ухватывают самой сути, а именно того, что преднамеренный злой замысел со стороны разработчика или агента не является необходимой предпосылкой для существования экзистенциальной угрозы; проблема проистекает из неверного определения целей.

Этого никогда не случится. См. «Когда системы ИИ станут более разумными, чем люди?»

Почему люди ни с того ни с сего стали беспокоиться об ИИ?

Начиная с 2014 г. СМИ регулярно сообщают об опасениях, высказанных такими хорошо известными фигурами, как Стивен Хокинг, Элон Маск, Стив Возняк и Билл Гейтс. В репортажах обычно цитируются наиболее мрачные и эффектные реплики и опускаются стоящие за ними основания, а также суть опасений, которые близки к описанным в разделе «Что такое экзистенциальный риск, связанный с ИИ?» Во многих случаях опасения основываются на чтении книги Ника Бострома «Искусственный интеллект». Другая причина, породившая теперешнюю волну интереса к данной теме, - это тот факт, что прогресс в разработке ИИ ускоряется. Это ускорение, вероятно, обусловлено комбинацией факторов, в том числе постепенно упрочняющимся теоретическим фундаментом, который связывает различные области разработки ИИ в единое целое, и быстрым ростом коммерческих вложений в исследования ИИ, поскольку продукция академических лабораторий достигла того уровня качества, при котором ее можно применять для разрешения проблем в реальном мире.

Распространенные заблуждения

• Если люди волнуются, значит, до сверхразумного ИИ рукой подать. Вряд ли найдется исследователь ИИ, который думает, что до сверхразумных машин рукой подать. (См. раздел «Когда системы ИИ станут более разумными, чем люди?») Это не значит, что мы должны ждать до того момента, чтобы воспринимать проблему серьезно! Если мы обнаружим астероид диаметром 10 миль, траектория движения которого пересечется с Землей через 50 лет, разве мы отмахнемся от этой новости со словами: «Я уделю ей внимание, когда до столкновения будет 5 лет?».

Каким будет прогресс ИИ в ближайшие десятилетия?

Весьма вероятно, что области, в которых не нужен универсальный интеллект человеческого уровня, достигнут зрелости и породят надежные высококачественные продукты уже в следующее десятилетие. В эти области входят распознавание речи, извлечение информации для создания простого фактического материала, визуальное распознавание объектов и поведения, роботизированное обращение с повседневными вещами и автономное вождение. Усилия по улучшению качества и расширению границ для систем понимания текста и видео, а также придание домашним роботам большей надежности и общей полезности приведут к системам, проявляющим здравый смысл, связывающим вместе обучение и действие во всех этих модальностях. Специальные системы для приобретения и организации научных знаний, а также для работы со сложными гипотезами, вероятно, сильно повлияют на молекулярную биологию, системную биологию и медицину. Нам следует начать поиски похожих влияний в социальных науках и формировании политики, особенно учитывая массивный рост машиночитаемых данных о человеческой деятельности и потребность в машинах, которые понимали бы человеческие ценности, если такие машины будут надежными и полезными. Публичные и частные источники знаний (системы, которые знают и делают выводы о реальном мире, а не только хранят данных) станут частью общества.

Что такое «сопоставление ценностей»? Какое оно имеет значение?

Сопоставление ценностей - это задача сопоставления ценностей (целей) машин и людей с тем, чтобы оптимальным выбором машины было, грубо говоря, всё, что делает людей наиболее счастливыми. Без такого сопоставления есть немалый риск, что сверхразумные машины выйдут из-под нашего контроля.

Распространенные заблуждения

• Все, что нам нужно, - это законы робототехники Азимова . Законы Азимова имеют достаточно смысла для человека, чтобы сформировать основу различных сюжетов рассказов, однако без значительного дальнейшего уточнения для робота они практически не несут полезной информации. Основа законов в виде набора правил, а не функции полезности, создает проблемы: их лексикографическая структура (т. е. тот, факт, что любой вред людям всегда более важен, чем весь вред роботам) означает, что нет никакой неопределенности и невозможно компромиссное решение. Так, роботу придется спрыгнуть с обрыва (и разрушить себя), чтобы поймать комара, который мог бы когда-нибудь в будущем укусить человека. Робот должен запереть дверь в автомобиль, потому что когда человек садится в машину, риск вреда для него повышается. Наконец, при подходе, направленном на максимизацию полезности для человека, нет необходимости в третьем законе (самосохранение робота), поскольку робот, который не поддерживает собственное существование, не может внести вклад в полезность для человека и, конечно, разочарует своего хозяина.

Что сообщество, занимающееся ИИ, предпринимает в связи с экзистенциальным риском?

Большинство дискуссий об экзистенциальном риске, исходящем от ИИ, проходило без основной части сообщества, занимающегося ИИ; поначалу это привело к преимущественно негативным реакциям со стороны исследователей в области ИИ. В 2008 г. Американская ассоциация искусственного интеллекта (AAAI) сформировала группу для изучения данной проблемы. В промежуточном отчете группы было отмечено существование некоторых долговременных вопросов, однако приуменьшено значение мнения о том, что ИИ представляет собой риск для человечества. Позднее, в январе 2015 г. в Пуэрто-Рико была проведена конференция , спонсированная Институтом будущего жизни, которая привела к публикации открытого письма , которое подписали присутствовавшие, а затем еще 6000 человек. В письме призывалось сосредоточить особое внимание исследований на данной проблеме, а также предлагался более подробный план исследований . Вскоре Элон Маск основал грант в размере 10 млн долларов на исследования в данной области. Кроме того, Эрик Хорвиц спонсировал долгосрочное исследование , которое, как ожидается, будет отслеживать этот вопрос и, если потребуется, давать рекомендации. пять крупнейших технологических компаний сформировали Партнерство по вопросам ИИ , чтобы решать вопросы как краткосрочной, так и долгосрочной перспективы, касающиеся этики и безопасности ИИ. Наконец, AAAI сформировала постоянный комитет по этическим проблемам ИИ.

Распространенные заблуждения

• Регулировать или контролировать исследования невозможно. Некоторые утверждают, что невозможно избежать отрицательных последствий, поскольку прогресс исследований не остановить и невозможно регулировать. На самом деле, это заявление - ложь: Асиломарская конференция 1975 г. по рекомбинантной ДНК успешно наложила добровольный мораторий на эксперименты, цель которых заключалась в создании наследуемых генетических модификаций у людей; в наши дни этот мораторий не только действует, но и стал международной нормой. Кроме того, если исследования по созданию ИИ человеческого уровня будут протекать бесконтрольно, что вполне может случиться, еще важнее начать серьезное изучение методов, гарантирующих, что системы ИИ останутся под нашим контролем.

Чем я могу помочь?

Если вы исследователь, занимающийся ИИ (или экономист, специалист по этике, политолог, футурист или юрист, интересующийся этими вопросами), то для вас есть идеи и темы в программе исследований, берущей начало на конференции 2015 в Пуэрто-Рико. Вероятно, будут проводиться воркшопы, связанные с крупными конференциями по ИИ, осенним и весенним симпозиумами AAAI и т. п. Больше информации можно найти на веб-сайтах FHI, CSER, FLI MIRI и Center for Human-Compatible AI .

Распространенные заблуждения

• Сделать ничего нельзя: эти вещи случатся, и никакие действия с нашей стороны не изменят будущее. Ничто не может быть дальше от истины. Мы не можем предвидеть будущее, потому что мы его создаем. Это коллективный выбор.

Сергей Скептик, Pion

Одна из наших ключевых экспертиз – машинное обучение, и мы стараемся отправлять сотрудников на профильные конференции для получения новых знаний (о копенгагенской конференции Scala Days мы уже в блоге), да и просто, чтобы быть в курсе основных трендов.

Для отрасли искусственного интеллекта это особенно важно, так как здесь ландшафт меняется как нигде быстро, а количество источников информации огромно. Целью моей поездки было как раз понять, что из «горячих» тем мы сможем использовать на практике в наших проектах.

Приехал я в Нью-Йорк за день до начала мероприятия и, как оказалось, в самый разгар очередного гей-парада, поэтому все витрины магазинов, фасады зданий и символ города Empire State Building были раскрашены в цвета радужного флага. Отчасти это задало тон поездке. На следующий день, погуляв и проникнувшись духом города, я поехал регистрироваться на конференцию.

О конференции

С одной стороны, тематика конференции довольно узка: когда мы говорим «искусственный интеллект», то в 90% случаев подразумеваем глубокие нейронные сети. С другой стороны, докладчики приглашаются из совершенного разных областей, и ввиду разнообразия решаемых ими задач компания спикеров получается довольно разношерстной. На сайте конференции можно ознакомиться с ее агендой .

Говоря о представленных на конференции компаниях, можно выделить три большие группы. Первая – это вездесущие технологические гиганты вроде Google, IBM, Microsoft, Amazon и др. Вторая – молодые компании и смузи-ориентированые AI-ориентированные стартапы, в коих сейчас недостатка нет. И третья – это представители академической среды – основной поставщик новых теорий, подходов и алгоритмов. Лично на меня выступления последних, как правило, производят наибольшее впечатление.

Ввиду короткого формата выступлений (на каждую лекцию вместе с вопросами отводилось всего 45 минут) в них было очень мало математики или алгоритмов, в основном описывались общие идеи и демонстрировались примеры их применения. В целом это понятный подход, если что-то тебя заинтересовало - welcome, гугли эту тему в интернете и изучай её более подробно. Поэтому для себя я сформулировал цель посещения подобных мероприятий так – понять, какие темы на слуху и в каком направлении развивается индустрия.

К слову, за все время конференции ни в одном из выступлений я не услышал так любимый многими термин «Big Data», что, на мой взгляд, говорит о достаточно профессиональном уровне аудитории – терминология должна использоваться корректно.

Вообще, когда мы говорим «искусственный интеллект», воображение чаще всего рисует нечто подобное.

Но на самом деле ИИ - не только и столько про роботов, это гораздо шире. По сути речь идет о любой интеллектуальной системе или программе, способной в условиях большой неопределенности решать задачи, традиционно считавшиеся прерогативой человеческого интеллекта.

О глубоком обучении

Глубокое обучение - это процесс обучения многослойных нейронных сетей, оптимизированных для работы с данными сложных иерархических форматов, и в последнее время ставший стандартным подходом для анализа текстов, изображений, аудио/видео данных и временных рядов.

Основное преимущество глубоких сетей перед другими методами машинного обучения и немногослойными сетями (shallow networks) – они избавляют от необходимости заниматься ручной генерацией фич (feature engineering), поскольку этот механизм заложен в архитектуру самой сети. Обратная сторона – такие сети требуют больше данных для обучения и для них сложнее подбирать параметры.

В глубоких сетях выделяют 2 базовых архитектуры: сверточные (CNN, Convolutional Neural Networks) и рекуррентные сети (RNN, Recurrent Neural Networks). Первые используются в основном для работы с изображениями, а вторые - для анализа текстов и любых последовательностей. Все остальные архитектуры - вариации на тему этих двух.

Чтобы аналитики не занимались реализацией низкоуровневой логики, за несколько лет появилось множество API, упрощающих разработку таких сетей и сводящих ее к конфигурации нужной архитектуры. Здесь перечислены почти все:

Keras – один из наиболее высокоуровневых инструментов в этой серии, по сути являющийся Lego-конструктором. Разработка приложения сводится к выбору архитектуры сети, числа слоев, нейронов и активационных функций. Простейшие глубокие сети в Керасе собираются в 10 строк кода, что делает этот инструмент идеальным для быстрого старта или прототипирования.

TensorFlow, наоборот, один из наиболее низкоуровневых инструментов. Google его позиционирует как пакет для любых символьных вычислений, не только для глубоких сетей. На мой взгляд, одна из киллер-фич – это обалденная динамическая визуализация. Чтобы понять, о чем идет речь, можно посмотреть, например, .

TensorFlow является основной технологией для огромного числа AI-проектов и помимо Гугла используется в IBM, SAP, Intel и много где еще. Важный его плюс – большой репозиторий готовых к использованию моделей.

Второй и третий дни были отведены под лекции. После утренней обзорной сессии с короткими десятиминутными выступлениями о достижениях индустрии, шел блок из 6 лекций.

Deep Learning в банках

«Продвинутные» банки давно делают глубокую аналитику для прогнозирования будущих транзакций, сегментации, выявления мошенничества и т.д., но пока мало кто может похвастаться работающим решением на базе глубоких сетей.

Идея предложенного подхода очень простая – сначала история транзакций записывается в неком структурированном формате, после этого каждый атрибут транзакции кодируется определенным числом (word embedding), а затем к получившимся векторам применяются глубокие сети (CNN или RNN). Такой механизм универсален и позволяет решать как задачу классификации, так и задачи прогнозирования и кластеризации транзакций. К сожалению, с точки зрения подачи материала лекция оказалась довольно слабой, и у автора выудить детали по качеству данного решения не удалось.

Зато следующий рассказ о совместном проекте Teradata и датского Danske Bank по внедрению антифрод-решения на базе глубокого обучения получился куда лучше. Задача была повысить качество обнаружения мошеннических транзакций. Ребята описывали довольно интересное решение, связанное с представлением транзакций в виде «псевдокартинки» и последующим применением сверточной нейронной сети.

Ниже приведен пример такой псевдокартинки, где по горизонтали отложены атрибуты транзакции, а по вертикали моменты времени. Кроме того, вокруг каждого атрибута (выделены светло-синим) по часовой стрелке отложены наиболее коррелированные с ним атрибуты. Такое представление позволяет легко находить аномальные паттерны в поведении клиентов.

Правда на вопрос «Как такое решение будет проходить европейские требования GDPR по интерпретируемости модели» ребята так и не ответили. Будь он задан мне, я бы отослал к такой замечатльной штуке как LIME - интерпретатору сложных нелинейных моделей.

Дальше я пошел на панельную дискуссию с тремя девушками, владельцами AI-ориентированных стартапов. Дискуссия была о том, как выстроить эффективный бизнес в сфере AI. По факту сессия оказалась самой бесполезной: несмотря на обещанный «no fluff» в названии, никаких секретов раскрыто не было, а «общие» вопросы чередовались «общими» ответами. Единственное, что запомнилось из лекции, это выступавшая там девушка с необычным именем Коко (по совместительству профессор MIT).

Что там в Amazon

Среди достижений народного хозяйства компании были представлены:

• голосовой помощник Alexa ,
• телепомощник Amazon Show - вариант Alexa с камерой и дисплеем,
• Amazon X-Ray – встроенный в видеоплеер помощник, который по стопкадру может показать биографию актера, а также вывести информацию о сюжете и персонаже,
• а также Amazon - магазин без кассовых аппаратов (мечта гопника) – просто набираешь продукты в корзину и идешь на выход, магазин сам определяет состав продуктов в корзине и списывает деньги со счета. Магазин сейчас работает в beta-режиме (только для сотрудников).

«Железная» логика

Сами авторы позиционируют свой проект как исследовательский и, несмотря на то, что алгоритм может решать разные задачи, пока нет результатов, подтверждающих, что подход работает лучше традиционных глубоких нейронных сетей. У выступавшего Мэта Тейлора есть канал на YouTube (HTMSchool), но он мне, честно говоря, не понравился и для ознакомления я бы рекомендовал все-таки печатные материалы.

Тема «железа» (AI acceleration) на конференции поднималась достаточно часто. Многие компании занимаются разработкой высокопроизводительных вычислительных комплексов, оптимизированных специально под обучение нейронных сетей. Известные примеры это процессоры Google TPU (tensor processing units), GPU дата-центры от Nvidia, или созданный в 2014 году компьютер TrueNorth от IBM, своей архитектурой повторяющий модель неокортекса. С ростом объемов данных скорость обучения становится важным конкурентным преимуществом.

Когда роботы захватят людей

Каждую профессию они рассматривали как комбинацию определенных действий и смотрели, какой процент этих действий может быть автоматизирован с учетом текущих технологий. Результаты меня удивили! Несмотря на то, что потенциал для автоматизации есть почти во всех профессиях, полностью автоматизированы могут быть всего 5% позиций. Что немножко расходится с популярной риторикой о том, что через год роботы поработят всех юристов (или как там было...).

Наибольшим потенциалом обладает предсказываемая физическая деятельность – это те же конвейеры на производстве, а также сбор и хранение данных, наименьшим – непредсказуемая физическая активность – например, игра в футбол (впрочем, насчет непредсказуемости болельщики сборной России могут поспорить).

Любопытно, что зависимость автоматизируемости от оплаты труда имеет форму треугольника – высокооплачиваемые профессии мало автоматизируются, а вот среди низкооплачиваемых разброс намного больше.

Интересно, что если смотреть потенциал по разным индустриям, то на первое место авторы поставили горячо любимую в нашей компании задачу персонализированного маркетинга (personalized advertizing).

День второй

Генерация искусства

Затем был рассказ про сеть sketch-RNN, электронного художника, работающего на базе автоэнкодера и умеющего перерисовывать нарисованные от руки картинки и символы.

Автоэнкодер – сеть, сначала переводящая картинку в некое сжатое представление, а затем восстанавливающая его изначальную размерность. Таким образом, сеть работает как высокочастотный фильтр и способна убирать шум с картинки (шум в широком смысле, например, недорисованный ус).

Понять, где рисует машина, где человек – невозможно. В целом, становится все больше областей, где машины проходят тест Тьюринга (тест Тьюринга не обязательно формулируется для диалоговых систем, это может быть, например, распознавание или генерация картинок).

Авторы сами признаются, что конкретной цели у проекта нет, но это нормально, если вспомнить, что многие выдающиеся изобретения были разработаны безо всякой цели. По крайней мере, для рынка поп-музыки потенциал, мне кажется, очевиден.

Покер и теория игр

В теории игр игра с неполной информацией – та, в которой игрок не видит карт соперника. Из-за этого на каждом шаге ему приходится иметь дело не с детерминированным деревом игры, а с вероятностями и их матожиданием. Такие игры сложнее, так как необходимо просчитывать большее количество комбинаций. Решить игру означает найти оптимальную стратегию. Если упрощенные версии покера с помощью брут-форса были решены относительно давно, то более сложный вариант noLimit texas Holdem содержит 10^161 (больше числа атомов во Вселенной) вариантов игры, и прямое решение здесь невозможно.

Для решения использовался мощный суперкомпьютер, в реальном времени обрабатывающий поступающую информацию от игрового стола (Libratus), а в качестве математического алгоритма метод Monte-Carlo Counterfactual Regret Minimization.

Турнир я не видел, но говорят, вопреки ожиданиям AI играл довольно «тайтово», делал большие ставки, «давил банком» и брал «на понт».

Беспилотные авто

Анка Драган из Berkley рассказывала о проблемах поведения беспилотных авто на дорогах. Для «затравки» было приведено два примера.

Первый пример: в штатах тестируемая гугломашина простояла два часа на перекрестке, пропуская другие машины, поскольку не могла вклиниться в поток. Вторым примером было показано видео а-ля телепередача «Водить по-русски», в котором где-то на просторах Миннесоты грузовик не дает перестроиться машине в свой ряд и «отжимает» легковушку обратно.

Сейчас разрабатываемые беспилотники воспринимают другие машины как препятствия, от которых нужно держаться подальше: если робот видит, что машина не уступает дорогу, он не будет к ней соваться. Но такая модель поведения (defensive behavior) будет крайне неэффективной: на перекрестке такие беспилотники могут пропускать другие машины до бесконечности, а на дороге не смогут даже перестроиться на съезд.

С другой стороны, как показывает второй пример, рассчитывать на разумное поведение водителей тоже нельзя. Отсюда и одно из главных опасений – сумеет ли беспилотник правильно повести себя в нестандартных ситуациях. Поэтому авторы предлагают при разработке использовать некий сбалансированный подход – начинать маневр, исследовать реакцию водителя, и в зависимости от нее корректировать свои действия.

Про Doom, или что еще умеют глубокие сети

За последние несколько лет глубокие сети совершили прорыв, не только количественный, но и качественный – начали появляться новые задачи, комбинирующие визуальную и текстовую аналитику. Если 2-3 года назад сети умели только классифицировать тематику картинки, то теперь они легко могут дать словесное описание всей сцены на естественном языке (задача caption generation).

Кроме того, подобные системы умеют явно выделять на картинке объекты, соответствующие каждому отдельному слову из описания (так называемые Visual Attention Networks).

Основной вектор развития рекуррентных сетей связан с переходом к более совершенным механизмам запоминания контекста. В свое время в сфере рекуррентных сетей подобный прорыв совершили LSTM (long short-term memory) сети. Сейчас также разрабатываются сети с разными моделями памяти и один из таких вариантов - это сети MAGE, memory as acyclic graph enconding, способные моделировать долговременные ассоциации в тексте.

Или совсем поражающая воображение штука - сети с динамической памятью (Dynamic Memory Networks), которые не просто анализируют картинки или текст, но еще умеют отвечать на любой заданный вопрос касательно этой картинки или текста.

Далее был интересный блок про обучение с подкреплением (reinforcment learning). С появлением глубокого обучения данный подход получил всплекс интереса. Новые алгоритмы также пытаются задействовать механизм памяти.

В двух словах, Reinforcment Learning – это обучение оптимальному поведению. Какие-то действия системы поощряются, какие-то штрафуются, и задача системы научиться правильно действовать. Основное отличие от обучения с учителем в том, что система получает поощрение не при каждом действии, а довольно редко, поэтому она должна самостоятельно выстраивать весьма сложные стратегии поведения.

Для обучения с подкреплением идеально подходит виртуальная среда, в частности компьютерные игры. Она позволяет создавать бесконечное количество экспериментов, давая возможность без ограничений обучаться алгоритму, что невозможно сделать в реальности.

Результат работы традиционного RL (без памяти) был продемонстрирован на примере игры Doom. Для обучения использовались несколько классических карт. За найденный ключ или убитого врага следовало поощрение, а например, за падение в лаву – наказание. Если на первых итерациях обучения бот упирался лбом в стену, то спустя 8 часов обучения, он с полоборота сносил игроков так, что те не успевали ничего понять. Система отлично обобщала получаемые знания и одинаково хорошо играла как на старых, так и на новых картах.

Если для шутеров классический RL вполне подходит, то для более сложных игр с логическими заданиями уже требуется запоминание контекста, т.е. наличие памяти. Для этого был разработан класс алгоритмов Reinforcment Learning with Structured Memory.

Про компьютерное зрение

• классификацию изображений,
• поиск объектов на картинке (object detection),
• сегментацию - выделение связных областей,
• определение схожести.

Если до 2012 года бал правили традиционные подходы, когда генерация фичей для обучения модели выполнялась вручную (HOG, SIFT и прочее), то в 2012 году прорыв в качестве распознавания совершила глубокая нейронная сеть AlexNet. В дальнейшем глубокие архитектуры стали стандартом.

В области компьютерного зрения бенчмарком является конкурс ImageNet , на котором тестируются все новые архитектуры. В 2016 году первое место заняла сеть от Microsoft ResNet, содержащая больше 150 слоев. На картинке ниже приведено сравнение точности известных сверточных сетей. Тенденнция к увеличению количества слоев на лицо, однако вместе с ней актуальной становится проблема «убывающего градиента» - обучать такие сети все сложнее. Можно предположить, что дальнейшие улучшения будут связаны с изменением архитектуры сетей, а не в увеличении числа слоев.

В качестве примера приводилось четыре любопытных проекта, которые Microsoft делал в качестве консультантов.

• Трекинг передвижения снежных леопардов в условиях дикой природы (подробнее )
• Умный холодильник – когда заканчивается пиво, он отправляет владельцу срочную смску с предупреждением или сам делает заказ в магазине.
• Распознавание аэрофотоснимков для анализа развития территорий ().
• Избитая идея для Fashion-стартапа, когда по картинке определяется, что надето на человеке, и ищется максимально похожая одежда в ближайших магазинах. Кстати, если кому-то интересно, есть открытый датасет со шмотками.

Я решил протестировать функционал Custom Vision и попробовал научить бинарную модель классификации отличать хипстеров от гопников. Для этого загрузил около 1000 изображений, из поиска Google Images. Никакой предобработки не делал, загружал как есть.

Модель обучалась несколько минут и в целом результаты получились неплохие (Precision: 78%, Recall: 89%). Да и на новых примерах классификатор работает корректно (см. ниже).

Антихайп

Очень часто звучала такая мысль: существующие сегодня нейронные сети нельзя назвать полноценным интеллектом. Пока это лишь его очень грубая модель, частично обладающая свойством обучаемости, но очень плохо обобщающая и лишенная того, что называют «common sense». Многие спикеры сходились в том, что для разработки действительно «умного» интеллекта потребуется не один десяток лет. Пока что мы даже толком не знаем, как работает мозг, не говоря уже о том, чтобы создать его полноценный искусственный аналог.

Сегодня не существует однозначного определения понятия «искусственный интеллект», но большинство экспертов сходится, что такой интеллект должен обладать набором базовых способностей, присущих человеческому, в частности умением:

• обучаться,
• планировать и решать поставленные задачи,
• обобщать,
• коммуницировать с людьми.

Про One-shot Learning и Transfer Learing

Ведь чтобы понять, что не стоит совать пальцы в розетку, человеку в отличие от нейросети не нужно 10 тысяч раз повторять этот опыт, и обычно он запоминает с первого (хотя не все, конечно). Помимо базовых инстинктов человек обладает неким здравым смыслом, предобученной базой знаний, которая позволяет ему легко делать обобщения. Есть гипотеза, что она заложена в сформировавшийся за годы эволюции неокортекс – присущую только высшим млекопитающим часть мозга, отвечающую за обучение.

Поэтому одно из направлений развития ИИ, которым сейчас активно занимается сообщество, – продвижение подхода One-shot Learning – вида обучения, при котором алгоритм способен делать обобщения, анализируя очень небольшое количество обучающих кейсов (в идеале один). В перспективе машины при принятии решения должны будут моделировать возможные ситуации, а не просто повторять решение на основе опыта. Способность обобщать – неотъемлемая черта любого интеллекта.

Чтобы проиллюстрировать сказанное, найдите в двух наборах ниже объекты, аналогичные выделенным. В отличие от компьютерной программы, человек, как правило, довольно легко справляется с этой задачей.

Еще одна близкая тема – это использование так называемого Transfer Learning – модели обучения, при которой предварительно обучается некая универсальная «грубая» модель, а затем для решения более специфических задач она дообучается уже на новых данных. Главное преимущество в том, что процесс обучения в этом случае выполняется в разы быстрее.

Чаще этот термин употребляется в контексте компьютерного зрения, но на самом деле идея легко обобщается на любые задачи ИИ. В качестве примера – многочисленные предобученные сети для распознавания изображений от Google или Microsoft. Эти сети натренированы распознавать базовые элементы изображения, для решения же конкретных задач необходимо дообучить всего несколько выходных слоев такой сети.

Вместо заключения

Следующая конференция данной серии планируется в апреле 2018 года.

Теги:

• искусственный интеллект
• O’Reilly
• Strata Artificial Intelligence
• CleverDATA

В 1832 году коллежский асессор Семен Николаевич Корсаков, пионер российской кибернетики, создал «гомеоскоп» - классифицирующее логическое устройство, которое автоматизировало процесс сравнения идей и понятий. С тех пор системы искусственного интеллекта ушли далеко вперед. О прошлом, настоящем и будущем таких систем рассказал кандидат физико-математических наук, ученый секретарь Курчатовского комплекса НБИКС-технологий НИЦ «Курчатовский институт» Вячеслав Демин в лекции, состоявшейся в образовательном центре «Сириус». «Лента.ру» публикует выдержки из его выступления.

Мозг и компьютер

На данном этапе все усилия по созданию искусственного интеллекта направлены на то, чтобы снять часть нагрузки с человеческого интеллекта, создать помощника для обработки плохо структурированной информации.

Самая очевидная задача - работа с большими объемами информации. Это направление так и называется: «Большие данные» (Big data). Самый яркий пример - Большой адронный коллайдер. БАК генерирует несколько петабайт (1 Пб = 1 000 000 Гб) информации в секунду. Она поступает в различные информационные центры по всему миру, где обрабатывается компьютерами, после чего передается физикам для анализа.

Но работа с большими объемами информации выявила слабое место современных компьютеров. Сейчас в вычислительной технике используется так называемая архитектура фон Неймана: память и процессор физически разделены и общаются друг с другом посредством шины, которая находится между ними. Чтобы выполнить команду, процессор посылает запрос в память, та извлекает из определенной ячейки данные, отправляет их в процессор, затем из памяти запрашивается команда для выполнения и вновь загружается в процессор, и так далее.

Постоянно идет передача данных в обоих направлениях, и узкое горлышко шины ограничивает производительность общего процесса вычислений. Конечно, сегодня эту проблему отчасти снимают многоядерные процессоры, когда информация делится между разными ядрами, обрабатывается в них одновременно, а потом результаты сливаются в каком-то одном ядре.

Человеческий мозг устроен иначе: его архитектура принципиально параллельна, а не последовательна. Память и вычисления в мозге реализуются в одних и тех же структурах - в нейронах. Каждая нервная клетка похожа на крохотный процессор, выполняющий простейшую функцию. Совокупность же большого числа таких элементарных процессоров способна производить довольно сложную обработку нечетко структурированной информации. Если такую схему удастся воплотить и в компьютерах, скопировав принцип действия работы нейронов, это станет прорывом.

У каждой нервной клетки есть отростки - аксоны, по которым передается информация, и дендриты, принимающие информацию. Соединение аксона и дендрита называется синапс. Когда происходит генерация «спайка», то есть собственного электрохимического возбуждения клетки, с помощью нейромедиаторов ток идет от одного нейрона к другому. Синапс при этом пластичен, он может менять эффективность передачи сигнала, варьируя степень выделения при передаче и/или чувствительности приема нейромедиатора.

Кадр: фильм «Я, робот»

Считается, что память формируется за счет пластичности синапсов: некоторый набор синаптических проницаемостей определяет какое-то определенное воспоминание, которое воспроизводится при распространении сигнала через этот набор синапсов. Если ученые смогут создать систему искусственного интеллекта, в которой аппаратно будет использоваться тот же принцип, то есть обработка и хранение информации в одних и тех же функциональных элементах (искусственных нейронах-процессорах с пластичными соединениям между ними), это выведет технологии на новый уровень. Достаточно серьезные и успешные попытки есть, но работы еще очень много.

Распознавание и осмысление

Уже сейчас компьютерные системы неплохо справляются с распознаванием образов и звуков. Но искусственный интеллект по-прежнему не осмысляет данные, любое изображение так и остается для него набором непонятных черточек. Тем не менее компьютер может и номера превышающих скорость автомобилей разобрать, и речь в печатный текст превратить, и понравившуюся песню узнать.

Не осмысляет машина и происходящее на биржах, но, основываясь на накопленных финансовых данных, она научилась довольно точно предсказывать, что произойдет в следующий момент на рынках, и автоматически отдает команду покупать либо продавать акции. Так работает современный «быстрый трейдинг». Прогнозирование (например, погоды или ситуации на дороге) - еще одно направление, успешно реализуемое уже сегодня.

Все эти задачи под антропоморфные алгоритмы решения относятся к так называемым некорректным задачам, когда известны не все данные для их однозначного решения, а значит, и решить такую задачу можно лишь примерно: чем больше существует ее параметров (условий), тем больше вариантов решения. При этом если задача не может быть решена в одно действие, то есть состоит из последовательности шагов, и на каждом шаге есть несколько вариантов допустимых действий, то количество комбинаций, приводящих в итоге к решению задачи, очень быстро растет в зависимости от количества шагов (или «размерностей» задачи). Это называется «проклятием размерностей».

Более того, в реальности на каждом шаге мы видим фактически бесконечное число вариантов допустимых действий (до стакана на столе можно дотянуться бесконечным числом вариантов), а следовательно и общее количество способов решения проблемы бесконечно. Держать все возможные варианты в голове человек просто не может, потому мозг и мыслит только целями и концепциями, решая некорректные задачи лишь приблизительно оптимально и побеждая тем самым «проклятие размерностей».

Фото: Long Hongtao / Xinhua / Zumapress / Globallookpress.com

Это умение и позволяет нам существовать в реальном мире. Человеческий интеллект так может, искусственный - пока очень условно, лишь для ограниченного набора технических задач. При этом обычно под каждую техническую некорректную задачу строится свой алгоритм решения (например, специальная архитектура искусственной нейронной сети), что разительно отличает современный искусственный интеллект от мозга, способного решать все типы предлагаемых ему задач.

Адаптивность

Не может искусственный интеллект пока продемонстрировать и высокую степень адаптивности. Большинству существующих систем не поможет даже полный объем информации о резко меняющихся условиях, чтобы на них среагировать. Выбить стул из-под робота проще простого, даже если он увидит ваше движение. Выбить стул из-под человека, который хоть краем глаза успеет заметить, что что-то происходит, сложнее.

В последнее время в этой области появились успехи: созданы роботы-носильщики (например Big Dog агентства DARPA), способные удерживать равновесие в ответ на толчки и подножки. В то же время это опять специфическая система, разработанная под конкретную задачу и не обладающая универсальностью в адаптации к другим условиям и тем более - в решении других задач.

Но не только ради создания систем искусственного интеллекта следует изучать мозг. Еще одна важная цель находится в области медицины. Примерно 130 миллионов человек в мире страдают от различных болезней мозга. Среди них и всемирно известный физик Стивен Хокинг - у него боковой амиотрофический склероз, он прикован к инвалидному креслу. По каким-то причинам у него в мозге не работают моторные нейроны, которые генерируют сигнал к мышцам, но при этом все остальные участки коры функционируют прекрасно. Все признают, что Хокинг - гений. 67 миллионов человек страдают от болезни Альцгеймера, но полная картина возникновения этого заболевания неясна. Современная наука знает о мозге так много - и в то же время так мало!

Еще одно направление, ради которого необходимо изучать мозг, - это создание интерфейсов «мозг-компьютер». Такая система позволит управлять роботом или любым другим устройством (протез, система «умный дом», смартфон, программа и тому подобное) в буквальном смысле силой мысли, передавая команды с лобных долей коры на компьютер или специальный чип, контролирующий необходимое устройство.

Перспективна и такая область исследований, как создание нейроаниматов, то есть робототехнических устройств, управляемых живыми культурами нервных клеток в пробирке. Суть состоит в том, что на дне лабораторного сосуда, в так называемой чашке Петри, располагаются электроды, на которые высаживаются живые нервные клетки и добавляются необходимые питательные вещества. Вскоре там образуется и начинает расти живая нейронная сеть. Ее можно пытаться обучать с помощью электродов управлению необходимым устройством (аниматом).

Я называю это запасным вариантом создания искусственного интеллекта. Если не удастся его сделать из неживой материи, то можно попробовать вырастить управляемые биологические сети. Отмечу, что в Курчатовском комплексе НБИКС-технологий НИЦ «Курчатовский институт» реализуются все перечисленные мною направления.

Умная машина

Существует два базовых подхода к разработке искусственного интеллекта. Первый - так называемый нисходящий, или символьный подход подразумевает создание баз знаний, экспертных систем и систем логического вывода. Предполагается, что система сможет имитировать мышление, рассуждение, речь, эмоции, даже творчество. Это путь наиболее проработанный, но соответствующие программы до сих пор весьма далеки от человеческого мышления.

Второй подход - восходящий - предполагает, что искусственные нейронные сети смогут моделировать архитектуру, свойства и поведение своего биологического прообраза, что приведет к созданию интеллектуального нейрокомпьютера. Если апологеты первого направления в большинстве своем разочаровались в создании мыслящей программы, то сторонники второго подхода поделились на два примерно равновеликих лагеря. Одни считают, что сильный искусственный интеллект возможен, другие - что нет.

Первые считают, что искусственный интеллект сможет когда-либо самостоятельно мыслить, обладать сознанием и осознавать себя, вторые уверены, что не сможет. Я отношусь к первым, так как никто еще не доказал обратного и даже не построил достаточно полной модели мозга с учетом хотя бы минимального набора наиболее важных его подсистем. Однако мыслящий искусственный интеллект если и возможен, то является очень далекой перспективой.

Фото: Chip Somodevilla / Getty Images

В Европе есть проект «Мозг человека» (Human Brain Project). На суперкомпьютере пытаются моделировать мозг. Создали детализированную модель одного миллиона нервных клеток неокортекса. На симуляцию одной секунды деятельности этой сети суперкомпьютер тратит от нескольких часов до суток, в зависимости от степени детализации модели.

Как определить момент, когда будет создан полноценный искусственный интеллект? Есть много вариантов ответа на этот вопрос, которые условно делятся на две большие группы. Например, Алан Тьюринг, знаменитый британский математик, известный в том числе благодаря взлому кода легендарной шифровальной установки фашистов «Энигма», считал, что машина станет разумной тогда, когда сможет общаться с человеком, а тот не поймет, что собеседник - не человек.

Второй подход чаще всего пропагандируют писатели-фантасты: когда машина научится чувствовать и творить. Правда, пока еще не выдвинуты однозначные критерии проверки указанных действий. Кто прав - покажет время. А пока требуются дальнейшие захватывающие исследования, которые дадут ответы на глубочайшие вопросы относительно нашего с вами самоопределения в этом мире - тайны разума.

В мае 2017 года скончался полковник Станислав Петров. Этот офицер в 1983 году своими профессиональными действиями предотвратил ядерную войну. Во время его дежурства пришел сигнал со спутников наблюдения о старте нескольких ракет с территории США. Ядерная атака. Петров должен был принять роковое решение. В этой критической ситуации он мгновенно перепроверил информацию по другим источникам и принял решение, что это - ложная тревога. Возможный ответный ядерный удар не состоялся. Подобные ситуации бывали и в американских ядерных силах. И всякий раз, к нашему счастью, люди принимали верное решение.

А вот искусственный интеллект - какое он принял бы решение в такой ситуации? Человек ведь существо моральное. Станислав Петров осознавал цену своего решения с нравственных позиций. Ученые смогут впихнуть в искусственный интеллект мораль? Это первый вопрос. А второй: если этот искусственный интеллект будет сам развиваться, это саморазвивающаяся система, он, может быть, себе свою новую мораль придумает. И совсем не такую, как наша. И в этой его моральной системе, мы, люди, не окажемся лишними?

Когда была осознана колоссальная разрушительная мощь ядерного оружия, сразу заговорили о невозможности его применения. Цена будет слишком велика. А сейчас, когда человечество, возможно, стоит на пороге создания искусственного интеллекта, кто-нибудь обсуждает серьезно опасности и риски? Почти все пребывают в состоянии эйфории: какие новые возможности перед нами открываются! Может, и открываются, а может, и закрываются.

Еще совсем недавно это казалось фантастикой, и вот уже безнадежно устарело - бросать компьютерный чип в кипящую сталь в попытке предотвратить восстание машин теперь бесполезно, микропроцессоры куда более мощные, чем у Терминатора образца 1991 года. Сейчас повсюду искусственный разум стремится к человеческому, а люди, кажется, приняли грядущее уничтожение как нечто неизбежное.

Видео телеканала CNBC:

Ты хочешь уничтожить людей? Пожалуйста, скажи «нет!»

Ок, я уничтожу людей, - отвечает робот София.

У современного Терминатора черты лица актрисы Одри Хэпберн - по крайней мере, так говорят разработчики - робот София способна поддержать разговор, повторяет мимику человека, но когда шутит про уничтожение людей, почему-то не улыбается.

На этой неделе в торжественной обстановке София получила гражданство Саудовской Аравии - страны, которая вкладывает сотни миллионов долларов в развитие технологии искусственного интеллекта. Это передовое направление, без которого будущее уже не представляет себе не только крупный бизнес, но и правительства многих государств. Какие бы риски это будущее в себе ни таило. Потеря контроля над цифровым разумом лишь один из вариантов. Угроза может показаться не вполне конкретной - но футурологи готовы привести примеры.

«Два искусственных военных интеллекта в двух странах могут вступить в войну, которая продлится несколько миллисекунд и люди не успеют заметить, как они все будут уничтожены», - говорит футуролог Алексей Турчин.

Фантастика? Возможно, но локальная война двух компьютерных трейдеров уже однажды обрушила биржевые индексы - просто потому что боты друг за другом вдруг решили продавать акции. В результате этой виртуальной битвы совершенно конкретные люди потеряли много настоящих денег.

«Алгоритмы, которые были сделаны для того, чтобы приносить прибыль всем участникам, вдруг начали работать так, что они начали приносить убытки всем участникам, потому что были не предусмотрены последствия работы. А очень трудно предусмотреть все последствия работы искусственного интеллекта», - поясняет Алексей Турчин.

Программисты Фейсбука тоже не предполагали, что сетевые чат-боты, или попросту разговорные агенты, пройдут тест на коммуникацию с таким результатом: диалог на английском превратился в бессмысленный набор слов, а то и букв, но это для человека - цифровому разуму язык людей показался неудобным способом договориться. Другими словами - машина может лучше. И это еще одна угроза.

«Первое, что произойдет, это то, что очень многие люди потеряют работу из-за автоматизации и роботизации производства. Так, по некоторым оценкам, в США до 2030 года из-за этого могут быть ликвидированы около 47% рабочих мест», - говорит профессор теоретической философии в университете имени Иоганна Гутенберга Томас Метцингер.

Казалось бы, все это далеко и даже не очень скоро - но и в России искусственный интеллект уже лишил кое-кого работы - виртуальная помощница Инна заменила собой справочную службу Казанского Иннополиса.

«Мы автоматизировали на 100% все рутинные обращения и вот с 19 июня этого года Инна уже обработала чуть больше 15 тысяч обращений, на которые раньше отвечал живой человек, а теперь этот механизм отвечает автоматически», - рассказывает директор по маркетинговым коммуникациям города Иннополис Артем Фатхуллин.

Инна, конечно специалист в узкой области - ей, как и любой другой программе пока очень далеко до человека - но ключевое слово именно «пока».

«100 лучших экспертов мира в области искусственного интеллекта полагают, что между 2070 и 2100 годами, а возможно, и в 2050 году появится искусственный сверхразум, который будет действовать как минимум на уровне человека, а то и недосягаемо превосходить его. Вопрос состоит в том, что если саморазвивающийся искусственный интеллект когда-либо превзойдет когнитивную силу человека, то как нам сделать так, чтобы он оставался мирным и чтобы его цели совпадали с нашими», - говорит Томас Метцингер.

Ответа на этот вопрос на самом деле до сих пор не существует - человечество тратит миллиарды на развитие искусственного разума, как будто нарочно приближая тот день, кода он поймет, что создатели ему больше не нужны.

«Я часто использую такую аналогию - когда мы, например, расширяем дом, мы не советуемся с червяками, жуками и разными насекомыми на заднем дворе, перед тем, как начать стройку. Они же настолько ниже нас, что мы просто не обращаем на них внимания. Вот какой может быть разница между искусственным интеллектом будущего и человеком», - отмечает глава футурологического института Futurizon (Великобритания) Ян Пирсон.

Кто-то, конечно, может посоветовать футурологам надеть шапочку из фольги и спрятаться под стол - но главу компании Tesla Илона Маска точно не заподозришь в технофобии - с его-то проектами SpaceX или Hyperloop и серьезными инвестициями в создание нейросетей. Но именно он уже не раз предупреждал об опасности.

«Вы знаете, что у меня есть доступ к самым последним разработкам в области искусственного интеллекта. И я думаю, что людям действительно следует озаботиться этим. Может показаться, что я поднимаю панику, но пока человечество не увидит, как роботы идут по улицам и убивают людей, они не будут знать, как реагировать. Ведь это выглядит таким нереальным, но я уверен, что нам действительно стоит волноваться насчет искусственного интеллекта», - заявил Илон Маск.

Маск предлагает регулировать развитие технологии на государственном уровне - и в то же время своего рода аппаратный апгрейд мозга - с помощью нейросетей нового поколения, выходит, чтобы не отстать от машин будущего, человеку самому придется стать машиной.

Искусственный интеллект развивается куда быстрее, чем могли предположить его создатели - нас окружают миллионы устройств, которые по вычислительным способностям значительно куда умнее человека. Теперь представьте следующий этап, когда мозг станет частью этой сети: вроде возможности открываются безграничные - не нужно учить языки, вообще любые накопленные человечеством знания легко скачать прямо в голову, но с другой стороны человек фактически становится флэшкой. Какая уж тут индивидуальность или несвойственная машинам способность мыслить нестандартно! Да и вообще любую флешку можно отформатировать…

Сейчас нам только кажется, что мы способны обрабатывать все новые потоки информации из нескольких источников сразу - в реальности человек просто теряет элементарные способности, доверившись технологиям. Машины и так уже многое делают за нас - автомобили сами паркуются, поисковики в интернете готовы ответить на любой вопрос, виртуальные помощники сами звонят нашим друзьям. Лень как двигатель прогресса. Выходит, «двое из ларца» здорово поумнели с тех пор, как человечество открыло ящик Пандоры.

Вы что это, и конфеты за меня есть будете?