Специализированная система искусственного интеллекта, разработанная специалистами компании Google, успешно справилась с задачей самостоятельного изучения задач и действий, выполняемых в компьютерных классических играх-аркадах, работавших на компьютерах Atari 1980-х годов. Более того, за счет эффективного использования заложенных в нее функций самообучения, эта программа овладела игровым процессом в полном совершенстве, потеснив с первых мест таблиц рекордов самых опытных людей-игроков.
Система искусственного интеллекта, имеющая название Deep-G Network (DQN), эмпирически учится на своих ошибках, будучи виртуально поощряемой в случае совершения успешных действий и виртуально наказываемой в случае ошибки. В основу функций самообучения системы DQN легли два различных метода, обучение с подкреплением (reinforcement learning) и глубинное изучение (deep learning). Благодаря комбинации этих двух методов, ИИ имеет возможность изучать цель игры и игровой процесс, анализируя пиксели изображения на экране игрового компьютера.
«Это очень внушительное достижение в области искусственного интеллекта. И его результаты немного пугающие» — рассказывает Стюарт Рассел (Stuart Russell), профессор информатики в Калифорнийском университете, Беркли, и автор более сотни работ, посвященных проблемам искусственного интеллекта, — «Ситуация, в которой оказывается искусственный интеллект, подобно ситуации, в которой оказывается ребенок после появления его на свет. У системы нет никакого понимания происходящего вокруг, она просто «открывает» свои глаза и смотрит, играя в течение нескольких часов в 50 игр на компьютере Atari. Если бы это был ваш ребенок, вы посчитали бы, что он одержим злыми демонами компьютерного мира».
В основу системы DQN легла работа специалистов компании из Лондона DeepMind Technologies, компании, специализировавшейся на создании искусственного интеллекта и выкупленной компанией Google в 2015 году за 400 миллионов долларов. Для обучения своих систем ИИ специалисты компании DeepMind использовали около 2600 игр Atari, которые из-за своей простоты не представляли большой сложности для выяснения цели самой игры и особенностей игрового процесса.
«Нашей конечной целью является создание умных машин» — рассказывал Демис Хассабис (Demis Hassabis), основатель компании DeepMind, — «Но сейчас мы находимся еще на расстоянии нескольких десятилетий от реализации этой идеи. Тем не менее, создание системы DQN является существенным шагом по лестнице к нашей цели. Этим мы показали, что обычные принципы компьютерного самообучения действительно работают и могут связать пиксели на экране с конкретными действиями, что считается одной из самых сложных задач».
Следует отметить, что искусственный интеллект DQN показал всю свою мощь на простых аркадных играх, таких как Breakout, одна из версий Арканоида, Space Invaiders и других, где требуется лишь внимание и хорошая реакция игрока. На играх, в которых уже требуется некоторое воображение, планирование на некоторое время вперед, таких как Seaquest, система DQN полностью провалилась из-за полного отсутствия у нее такого понятия, как абстрактное мышление.
Как уже упоминалось выше, программа DQN черпает все исходные данные из пикселей экрана, которые являются элементами двухмерных проекций двухмерных или трехмерных объектов. Именно эта функция, согласно мнению некоторых экспертов, станет основополагающей в будущих системах искусственного интеллекта.
«Эта возможность является весьма многообещающей для робототехники. Ведь робот, как и система DQN, должен будет суметь сложить свое представление об окружающей среде из пикселей изображений, получаемых его камерами. И на основе полученного представления робот сможет планировать свои действия, нацеленные на выполнение поставленной ему задачи» — рассказывает Марк Ридл (Mark Riedl), профессор информатики из Технологического университета Джорджии, — «Конечно, восприятие и действия в реальном мире намного сложней, нежели компьютерные игры, но все базовые принципы останутся неизменными».
Источник:
