Глубокое обучение с подкреплением. AlphaGo и другие технологии; Издательский дом "Питер", 2020
- Издатель: Прогресс книга
- ISBN: 978-5-4461-1079-7
EAN: 9785446110797
- Книги: Программирование
- ID: 6533356
Описание
Эта книга — подробное руководство по новейшим инструментам глубокого обучения с подкреплением и их ограничениям. Мы реализуем и проверим на практике методы кросс-энтропии и итерации по ценностям (Q-learning), а также градиенты по стратегиям.
Для экспериментов используются самые разные среды обучения с подкреплением (RL), начиная с классических CartPole и GridWorld и заканчивая эмуляторами Atari и средами непрерывного управления (на основе PyBullet и RoboSchool). Множество примеров основано на нестандартных средах, в которых мы с нуля разработаем модель окружения.
В этой книге
- Вы узнаете, какое место в контексте глубокого обучения занимают методы RL, реализуете сложные модели глубокого обучения.
- Изучите основу RL: марковские процессы принятия решений.
- Рассмотрите примеры реализации методов RL: метод кросс-энтропии, DQN, A3C, TRPO, PPO, DDPG, D4PG и других.
- Узнаете, как работать с дискретными и непрерывными пространствами действий в различных средах.
- Увидите, как разработать систему, обучающуюся играм Atari, используя обучение с подкреплением.
- Создадите собственную среду по модели OpenAI Gym для обучения биржевого агента.
- Реализуете метод AlphaGo Zero для игры в Connect4.
- Познакомитесь с применением RL в обработке речи: узнаете, как обучить диалогового бота на фразах из кинофильмов.
Видео Обзоры (5)
Что же делает AlphaGo? Глубокое обучение с подкреплением | Сергей Николенко | Лекториум
Глубинное обучение и обучение с подкреплением — Евгений Бурнаев
Обучение с подкреплением на примерах, Дмитрий Паньков, Xsolla
Глубокое обучение. Лекция 1. Введение в глубокое обучение (курс "Deep Learning", 2019-2020)
Современные тренды обучения с подкреплением
Характеристики (21)
| Параметр | Значение |
|---|---|
| Автор(ы) | Максим Лапань |
| Переплет | Мягкий переплёт |
| Издатель | Издательский дом "Питер" |
| Год издания | 2020 |
| Возрастные ограничения | 16 |
| Кол-во страниц | 496 |
| Серия | Для профессионалов |
| Формат | 164x233мм |
| Издательство | ООО "Прогресс книга" |
| Количество страниц | 496 |
| Тип обложки | мягкая |
| Возрастное ограничение | 16+ |
| Количество книг | 1 |
| Вес | 0.63кг |
| ISBN | 978-5-4461-1079-7 |
| Размеры | 70x100/16 |
| Обложка | мягкая обложка |
| Язык издания | Русский |
| Автор | без автора |
| Раздел | Программирование |
| Бумага | офсет |
Сравнить цены (9)
Цена от 241 грн. до 1182 грн. в 9 магазинах
| Магазин | Цена | Наличие |
|---|---|---|
Купить в кредит (2)
| Компания | Предложение |
|---|---|
Полезные онлайн-сервисы
| Компания | Предложение |
|---|
Отзывы (4)
- Денис Королев — 18 Февраля 2022
очень полезная книга для темы обучения с подкрепление, тут описана как математика для данной области, так и инструменты для ее применения, минусом могу отметить что у оглавления нет ссылок из-за этого навигация по книги сильно усложняется
00 - Еськина Диана — 21 Сентября 2020
Книга "Глубокое обучение с подкреплением. AlphaGo и другие технологии" из серии "Для профессионалов" позволяет окинуть взглядом современную область машинного обучения, связанную с технологией глубокого обучения без учителя. Вместе с автором Вы изучите ландшафт этой области человеческого знания, останавливаясь на наиболее рельефно-выделяющихся его участках на пути от тренировки нейронной сети для балансировщика к "вершине", заданной в книге как технология "AlphaGo". На каждой остановке Вам захочется попробовать применить только-что раскрытое технологическое решение в чём автор с удовольствием Вам поможет, предоставляя рабочий код к каждой главе, сопровождённый подробным описанием с выделением нюансов на которых автор, видимо, набил не одну "шишки". Сам набор авторских примеров использования технологий является очень пёстрым, что не заставит читателя погрузиться в какое-либо подобие скуки. Здесь, помимо игр из набора Atari, приведены и генеративно-состязательные сети, бьющиеся в умении подделать картинку и распознать подделку, и биржевой агент, наглядно демонстрирующий превосходство плановой экономики над рыночной, и чат-бот, представляющий собой "китайскую комнату", обученную на фразах из фильмов, и агент для веб-навигации, ищущий место для клика и, в перспективе, возможные действия для вывода сайта из строя, и модели роботов с числом конечностей не меньше двух, которых придётся научить стоять ходить двигаться в нужном направлении. Думаю, чтение данной книги будет сопровождать читателя радостным удивлением и восхищением человеческому гению. Даже получив после очередной главы отрицательный результат и погрузивших в долину уныния, в следующей главе новый метод поднимет Вас на новую высоту, ранее недостижимую прежними методами.
В книге есть ряд недочётов, некоторые из которых являются весьма существенными. Относятся они по-большей части к халатной работе издательства, чем к труду автора.
1. К сожалению книга не прошла сколь-нибудь существенной процедуры рецензирования. Иначе как объяснить следующие явления?
- "Висящие" в тексте формулы, без объяснения величин, в них входящих (например, что за выражение на с. 47? Из предыдущего текста его не понять). В учебной и научной литературе принято объяснять любые обозначения в формулах, либо отсылать к разделу, где это объяснено. Такие места выглядят очень печально и вызывают недоумение у читателя
- Опечатки в формулах (например, на странице 41 вместо степени поставлен подстрочный индекс)
- Есть опечатки в тексте к объяснению кода (например, на с. 338 вместо log(softmax должно быть log_softmax)
2. Книга является переводной и качество перевода не на высоте. Например, в 9 главе рассказывается о методе "градиента по стратегиям", которые в 13 главе называется методом "градиента по политикам". Некоторые места в тексте приходилось переводить на английский, для понимания того, что должно быть написано и что хотел сказать автор.
3. Качество печатного варианта книги крайне низкое. Давно не видела настолько плохой работы типографии. Во-первых, текст напечатан неравномерно по яркости, в большей части выглядит как работа принтера в режиме "черновик".
Во-вторых, есть множество страниц на которых текст "размыт"! Т.е. рядом с тусклым текстом напечатан ещё один со смещением в ~1 мм. Читать такое неудобно и неприятно.
В-третьих, в моей версии книги корешок был "пробит" и заламинирован поверх дефекта. Его будто порвали в типографии, а потом решили, что и так сойдёт, заламинировали и отправили дальше.
От книги, которая стоит больше 1000 рублей, такого низкого качества исполнения никак не могла ожидать при заказе.
Благо с "твёрдым" вариантом предоставляю электронную версию книги.
4. Неплохо было бы в книге упомянуть, что все приведённые примеры можно запускать в Google Colab, и, может быть, дополнить репозиторий с примерами файлами в формате Jupyter Notebook. Это будет полезно для тех, кто не имеет под рукой производительной видеокарты, но проводить эксперименты неймётся.
Автору выражаю благодарность за проделанную работу по выпуску данной книги и знакомство через неё с этой областью машинного обучения!00 - Рейдер Эдуард — 30 Сентября 2020
Познакомился с кодом к главе 8. Заметное число критических ошибок. Код с листа не проходит, нужны исправления. Подключение некоторых, необходимых для выполнения кода пакетов опущено. Приходится восстанавливать по факту ошибок и с поиском в сети. Запуск кода из командной строки приведен только для одного скрипта. Все остальные аргументы параметры запуска пришлось вычислять анализом кода. Удивило, что критерием остановки цикла принят np.inf и в коде train_model.py и в коде train_model_conv.py. Содержание файла requirements.txt, которое определяет необходимый софт для работы с книгой - некорректно. Приходится достаточно долго подбирать вручную, без шансов для новичков. Предоставленные скрипты в неудовлетворительном состоянии. Текстовая часть книги сжата, но представляет интерес принятой манерой изложения. В английском варианте книги этот пример уже в главе 10 количество недочетов никак не меньше, прежние сохранились.
00 - Лабинцев Андрей — 8 Февраля 2024
Замечательная книга, автор провел большую работу по систематизации научных статей и реализации кода.
00