Опубликовано 9 сентября, 2022

Вышла книга “Обучение с подкреплением для реальных задач”

В нашем издательстве вышла книга Фила Уиндера “Обучение с подкреплением для реальных задач“.

Книга посвящена промышленно-ориентированному применению обучения с подкреплением (Reinforcement Learning, RL). Объяснено, как обучать промышленные и научные системы решению любых пошаговых задач методом проб и ошибок – без подготовки узкоспециализированных учебных множеств данных и без риска переобучить или переусложнить алгоритм. Рассмотрены марковские процессы принятия решений, глубокие Q-сети, градиенты политик и их вычисление, методы устранения энтропии и многое другое. Данная книга – первая на русском языке, где теоретический базис RL и алгоритмы даны в прикладном, отраслевом ключе.

ПЕРВАЯ КНИГА на русском языке, где теоретический базис RL и алгоритмы даны в прикладном, отраслевом ключе!

Оригинальное название книги “Reinforcement Learning: Industrial Applications of Intelligent Agents 1st Edition”

На сайте поддержки книги Reinforcement Learning Book Supplementary Materials вы найдете дополнительные материалы от автора.

На обложке африканский пингвин (Spheniscus demersus). Четыре вида рода Spheniscus известны как полосатые пингвины из-за черной полосы, опоясывающей их тела. Пингвины живут колониями вдоль юго-западного побережья Африки, в основном на 24 островах, и лишь несколько колоний на материке. Вид занесён в Международную Красную книгу.

RL интересно тем, что позволяет изучить долгосрочные стратегии и применить их к сложным промышленным задачам. Как компании, так и специалисты-практики могут преследовать цели, которые напрямую связаны с бизнесом, такие как извлечение прибыли, наращивание количества пользователей и их удержание, а не технические показатели оценки, такие как точность или F-мера. Проще говоря, решение многих проблем зависит от последовательного принятия решений. ML не предназначено для решения этих проблем, RL — предназначено.

Кому следует прочитать эту книгу?

Цель этой книги — продвигать использование RL в производственных системах.
Если вы (сейчас или в будущем) создаете продукты в области RL, будь то исследования, разработки или прикладные вещи, то эта книга для вас. Это также означает, что я написал книгу, скорее, для практиков, чем для людей из академических кругов.

Фил Уиндер — междисциплинарный инженер, эксперт и автор онлайн-курсов на платформе O’Reilly. Возглавляет компанию Winder Research, оказывающую консультации в области науки о данных (data science) для облачно-ориентированных приложений. Компания помогает оптимизировать процессы, связанные с обработкой данных, а также обслуживает платформы и продукты, работающие в этой нише. Автор имеет степени PhD и MEng в электротехнике, полученные в Университете Халла.

Книгу “Обучение с подкреплением для реальных задач” можно купить со скидкой в интернет-магазине издательства “БХВ”.

Уиндер Фил
Обучение с подкреплением для реальных задач
~~1213 ₽~~
861 ₽

Отзывы………………………………………………………………………………………………….. 15

Об авторе……………………………………………………………………………………………….. 19

Предисловие…………………………………………………………………………………………… 21

Цель…………………………………………………………………………………………………………………………………………….. 21

Кому следует прочитать эту книгу?………………………………………………………………………………………… 22

Руководящие принципы и стиль……………………………………………………………………………………………….. 22

Предварительная подготовка…………………………………………………………………………………………………… 24

Объем и план………………………………………………………………………………………………………………………………. 24

Дополнительные материалы…………………………………………………………………………………………………….. 25

Условные обозначения, используемые в этой книге………………………………………………………………. 26

Аббревиатуры………………………………………………………………………………………………………………………. 26

Математические обозначения…………………………………………………………………………………………….. 27

Глава 1. Для чего нужно обучение с подкреплением?…………………………….. 29

Почему сейчас?………………………………………………………………………………………………………………………….. 30

Машинное обучение………………………………………………………………………………………………………………….. 31

Обучение с подкреплением……………………………………………………………………………………………………….. 32

Когда следует использовать обучение с подкреплением?……………………………………………….. 33

Варианты применения обучения с подкреплением…………………………………………………………… 35

Таксономия подходов обучения с подкреплением…………………………………………………………………. 37

Без модели или на основе модели………………………………………………………………………………………. 37

Как агенты используют и обновляют свою стратегию…………………………………………………….. 38

Дискретные или непрерывные действия…………………………………………………………………………….. 39

Методы оптимизации…………………………………………………………………………………………………………… 39

Оценка и улучшение политики……………………………………………………………………………………………. 40

Фундаментальные концепции обучения с подкреплением……………………………………………………. 41

Первый RL-алгоритм……………………………………………………………………………………………………………. 41

Оценка ценности……………………………………………………………………………………………………….. 42

Ошибка предсказания………………………………………………………………………………………………. 43

Правило обновления веса………………………………………………………………………………………… 43

RL — это то же самое, что ML?………………………………………………………………………………………….. 44

Награда и отклик…………………………………………………………………………………………………………………. 45

Отложенные награды……………………………………………………………………………………………….. 46

Ретроспектива……………………………………………………………………………………………………………. 46

Обучение с подкреплением как дисциплина…………………………………………………………………………… 47

Резюме…………………………………………………………………………………………………………………………………………. 49

Дополнительные материалы для чтения…………………………………………………………………………………. 49

Использованные источники………………………………………………………………………………………………………. 50

Глава 2. Марковские процессы принятия решений,
динамическое программирование и методы Монте-Карло……………………… 53

Алгоритм многорукого бандита……………………………………………………………………………………………….. 53

Разработка наград……………………………………………………………………………………………………………….. 53

Оценка стратегии: функция ценности………………………………………………………………………………… 54

Совершенствование политики: выбор лучшего действия………………………………………………… 57

Моделирование среды…………………………………………………………………………………………………………. 58

Запуск эксперимента……………………………………………………………………………………………………………. 59

Улучшение e-жадного алгоритма………………………………………………………………………………………. 61

Марковские процессы принятия решений……………………………………………………………………………….. 62

Контроль запасов…………………………………………………………………………………………………………………. 64

Таблица переходов…………………………………………………………………………………………………… 65

Граф переходов…………………………………………………………………………………………………………. 66

Матрица переходов………………………………………………………………………………………………….. 66

Симуляция управления запасами……………………………………………………………………………………….. 68

Политики и функции ценности………………………………………………………………………………………………….. 70

Дисконтированные вознаграждения………………………………………………………………………………….. 70

Прогнозирование вознаграждений с помощью функции ценности состояния……………….. 71

Моделирование с использованием функции ценности состояния……………………….. 73

Прогнозирование вознаграждений с помощью функции ценности действия…………………. 75

Оптимальные политики……………………………………………………………………………………………………….. 76

Генерирование политики Монте-Карло………………………………………………………………………………….. 78

Итерация по ценности с динамическим программированием……………………………………………….. 80

Реализация итерации по ценности……………………………………………………………………………………… 82

Результаты итерации по ценнности……………………………………………………………………………………. 84

Резюме…………………………………………………………………………………………………………………………………………. 85

Дополнительные материалы для чтения…………………………………………………………………………………. 86

Использованные источники………………………………………………………………………………………………………. 86

Глава 3. Обучение с учетом временных различий, Q-обучение
и n-шаговые алгоритмы…………………………………………………………………………. 87

Обучение с учетом временных различий: формулировка подхода………………………………………. 88

Q-обучение……………………………………………………………………………………………………………………………. 90

SARSA……………………………………………………………………………………………………………………………………. 92

Q-обучение против SARSA………………………………………………………………………………………………….. 93

Пример использования: автоматическое масштабирование контейнеров приложений для снижения затрат 96

Отраслевой пример: торги рекламы в режиме реального времени……………………………………….. 98

Определение марковского процесса принятия решения…………………………………………………… 98

Результаты торгов в режиме реального времени………………………………………………………………. 99

Дальнейшие улучшения…………………………………………………………………………………………………….. 101

Расширения для Q-обучения…………………………………………………………………………………………………… 102

Двойное Q-обучение………………………………………………………………………………………………………….. 102

Отложенное Q-обучение……………………………………………………………………………………………………. 103

Сравнение стандартного, двойного и отложенного Q-обучения…………………………………… 103

Обучение с подкреплением на основе противодействия………………………………………………… 104

n-Шаговые алгоритмы…………………………………………………………………………………………………………….. 105

n-Шаговые алгоритмы в распределенных средах………………………………………………………….. 108

Трассировки соответствия………………………………………………………………………………………………………. 109

Расширения для трассировки соответствия………………………………………………………………………….. 112

Алгоритм обучения Q(λ) Уоткинса…………………………………………………………………………………… 112

Нечеткие стирания в алгоритме обучения Q(λ) Уоткинса……………………………………………… 113

Быстрое Q-обучение………………………………………………………………………………………………………….. 113

Накопление или замена трассировок соответствия……………………………………………………….. 113

Резюме………………………………………………………………………………………………………………………………………. 114

Дополнительные материалы для чтения……………………………………………………………………………….. 114

Использованные источники……………………………………………………………………………………………………. 114

Глава 4. Глубокие Q-сети…………………………………………………………………….. 117

Архитектуры глубокого обучения…………………………………………………………………………………………. 118

Основные положения…………………………………………………………………………………………………………. 118

Архитектуры нейронных сетей…………………………………………………………………………………………. 119

Фреймворки глубокого обучения……………………………………………………………………………………… 120

Глубокое обучение с подкреплением………………………………………………………………………………. 121

Глубокое Q-обучение………………………………………………………………………………………………………………. 122

Воспроизведение опыта…………………………………………………………………………………………………….. 122

Клоны Q-сети……………………………………………………………………………………………………………………… 123

Архитектура нейронной сети……………………………………………………………………………………………. 123

Внедрение глубокой Q-сети………………………………………………………………………………………………. 124

Пример: глубокая Q-сеть в среде CartPole……………………………………………………………………….. 125

Зачем обучаться онлайн?………………………………………………………………………………………. 127

Что лучше? Глубока Q-сеть против Q-обучения………………………………………………….. 128

Практический пример: сокращение энергопотребления в зданиях………………………………. 128

Радужная DQN…………………………………………………………………………………………………………………………. 130

Распределительное RL………………………………………………………………………………………………………. 130

Воспроизведение приоритетного опыта………………………………………………………………………….. 132

Зашумленные сети……………………………………………………………………………………………………………… 133

Дуэльные сети…………………………………………………………………………………………………………………….. 133

Пример: радужная глубокая Q-сеть в Atari Games……………………………………………………………….. 134

Результаты………………………………………………………………………………………………………………………….. 134

Обсуждение………………………………………………………………………………………………………………………… 136

Другие улучшения глубокой Q-сети………………………………………………………………………………………. 138

Улучшение исследования………………………………………………………………………………………………….. 138

Повышение вознаграждения……………………………………………………………………………………………… 139

Обучение на основе автономных данных……………………………………………………………………….. 140

Резюме………………………………………………………………………………………………………………………………………. 142

Дополнительные материалы для чтения……………………………………………………………………………….. 143

Использованные источники……………………………………………………………………………………………………. 143

Глава 5. Методы градиента политики………………………………………………….. 145

Преимущества прямого изучения политики………………………………………………………………………….. 145

Как рассчитать градиент политики……………………………………………………………………………………….. 146

Теорема о градиенте политики………………………………………………………………………………………………. 147

Функции политики…………………………………………………………………………………………………………………… 149

Линейные политики……………………………………………………………………………………………………………. 150

Логистическая политика………………………………………………………………………………………… 150

Политика softmax…………………………………………………………………………………………………… 151

Произвольные политики……………………………………………………………………………………………………. 152

Основные реализации……………………………………………………………………………………………………………… 152

Метод Монте-Карло (алгоритм REINFORCE)………………………………………………………………… 153

Пример: алгоритм REINFORCE в среде CartPole…………………………………………………. 153

Алгоритм REINFORCE с базовыми показателями………………………………………………………….. 154

Пример: алгоритм REINFORCE с базовыми показателями в среде CartPole…….. 156

Уменьшение градиентной дисперсии……………………………………………………………………………….. 158

n-Шаговый и улучшенный алгоритмы “актор — критик”………………………………………………. 159

Пример: n-шаговый алгоритм “актор — критик” в среде CartPole……………………… 161

Темпы затухания ценностного обучения по сравнению с темпами
ослабления политики……………………………………………………………………………………………… 163

Трассировки соответствия алгоритма “актор — критик”………………………………………………. 164

Пример: трассировка соответствия требованиям алгоритма “актор — критик” в среде CartPole 165

Сравнение основных алгоритмов градиента политики………………………………………………….. 166

Отраслевой пример: автоматическая продажа товаров клиентам…………………………………….. 166

Рабочее окружение: корзина заказов, написанная при помощи библиотеки Gym……… 167

Ожидания……………………………………………………………………………………………………………………………. 168

Результаты из среды “Корзина покупок”…………………………………………………………………………. 169

Резюме………………………………………………………………………………………………………………………………………. 172

Дополнительные материалы для чтения……………………………………………………………………………….. 173

Использованные источники……………………………………………………………………………………………………. 173

Глава 6. Другие методы………………………………………………………………………… 175

Алгоритмы, действующие вне политик………………………………………………………………………………….. 175

Выборка по значимости…………………………………………………………………………………………………….. 176

Поведенческие и целевые политики…………………………………………………………………………………. 178

Q-обучение, действующее вне политики………………………………………………………………………….. 178

Градиентное обучение с учетом временных различий………………………………………………….. 179

Жадный GQ-алгоритм……………………………………………………………………………………………………….. 180

Алгоритм “актор — критик” вне политики………………………………………………………………………. 181

Детерминированные градиенты политики……………………………………………………………………………. 182

Обычные детерминированные градиенты политики………………………………………………………. 182

Глубокие детерминированные градиенты политики……………………………………………………… 184

Вывод DDPG……………………………………………………………………………………………………………. 184

Внедрение DSP………………………………………………………………………………………………………… 185

Дважды отложенный DPG…………………………………………………………………………………………………. 188

Отложенные обновления политики……………………………………………………………………….. 188

Ограниченное двойное Q-обучение………………………………………………………………………. 189

Сглаживание целевой политики……………………………………………………………………………. 189

Реализация TD3………………………………………………………………………………………………………. 190

Практический пример: рекомендации на основе отзывов……………………………………………… 192

Улучшения DPG………………………………………………………………………………………………………………….. 193

Методы доверительной области……………………………………………………………………………………………. 194

Дивергенция Кульбака — Лейблера………………………………………………………………………………… 196

Эксперименты по дивергенции Кульбака — Лейблера………………………………………. 196

Естественные градиенты политики и оптимизация политики
доверительной области……………………………………………………………………………………………………… 197

Проксимальная оптимизация политики…………………………………………………………………………… 200

Усеченная цель PPO………………………………………………………………………………………………… 201

Ценностная функция PPO и цели разведки……………………………………………………………. 203

Пример: использование сервоприводов для Real-Life Reacher……………………………………………. 205

Описание эксперимента…………………………………………………………………………………………………….. 205

Реализация алгоритма RL…………………………………………………………………………………………………. 206

Повышение сложности алгоритма……………………………………………………………………………………. 208

Настройка гиперпараметров в моделировании………………………………………………………………. 209

Результирующие политики……………………………………………………………………………………………….. 210

Другие алгоритмы градиента политики………………………………………………………………………………… 212

Алгоритм Retrace (λ)…………………………………………………………………………………………………………… 212

Алгоритм ACER………………………………………………………………………………………………………………….. 212

Алгоритм ACKTR……………………………………………………………………………………………………………….. 213

Эмпатические методы……………………………………………………………………………………………………….. 214

Расширения для алгоритмов градиента политики……………………………………………………………….. 214

Квантильная регрессия в алгоритмах градиента политики…………………………………………… 215

Резюме………………………………………………………………………………………………………………………………………. 215

Какой алгоритм следует использовать?………………………………………………………………………….. 215

Замечание об асинхронных методах……………………………………………………………………………….. 216

Дополнительные материалы для чтения……………………………………………………………………………….. 216

Использованные источники……………………………………………………………………………………………………. 217

Глава 7. Изучение всех возможных политик
с помощью энтропийных методов………………………………………………………… 221

Что такое энтропия?………………………………………………………………………………………………………………… 221

Максимальная энтропия обучения с подкреплением…………………………………………………………… 222

Мягкий “актор — критик”……………………………………………………………………………………………………….. 223

Детали реализации SAC и дискретные пространства действий……………………………………. 224

Автоматическая регулировка температуры……………………………………………………………………. 224

Практический пример: автоматическое управление трафиком
для сокращения очередей………………………………………………………………………………………………….. 225

Расширения методов максимальной энтропии……………………………………………………………………… 226

Другие меры энтропии (и ансамбли)………………………………………………………………………………… 226

Оптимистичное исследование с использованием верхней границы
двойного Q-обучения…………………………………………………………………………………………………………. 227

Играем с воспроизведением опыта…………………………………………………………………………………… 227

Мягкий градиент политики……………………………………………………………………………………………….. 227

Мягкое Q-обучение (и производные)………………………………………………………………………………… 228

Обучение согласованности пути………………………………………………………………………………………. 228

Сравнение производительности: SAC против PPO……………………………………………………………….. 228

Как энтропия способствует исследованиям?………………………………………………………………………… 230

Как температурный параметр влияет на исследование?……………………………………………….. 233

Отраслевой пример: обучение вождению автомобиля с дистанционным управлением….. 235

Описание задачи………………………………………………………………………………………………………………… 235

Минимизация времени обучения………………………………………………………………………………………. 236

Выразительные действия…………………………………………………………………………………………………… 238

Поиск гиперпараметров…………………………………………………………………………………………………….. 239

Финальная политика………………………………………………………………………………………………………….. 240

Дальнейшие улучшения…………………………………………………………………………………………………….. 240

Резюме………………………………………………………………………………………………………………………………………. 241

Эквивалентность градиентов политики и мягкого Q-обучения……………………………………… 242

Что это означает для будущего?………………………………………………………………………………………. 242

Что это значит сейчас?………………………………………………………………………………………………………. 242

Использованные источники……………………………………………………………………………………………………. 243

Глава 8. Улучшение процесса обучения агента……………………………………. 245

Переосмысление марковских процессов принятия решений……………………………………………….. 246

Частично наблюдаемый марковский процесс принятия решений………………………………… 246

Предсказание доверительного состояния…………………………………………………………….. 247

Практический пример: POMDP в автономных транспортных средствах…………………….. 248

Контекстные MDP………………………………………………………………………………………………………………. 249

MDP с изменяющимися действиями………………………………………………………………………………….. 249

Регуляризованные MDP…………………………………………………………………………………………………….. 250

Иерархическое обучение с подкреплением…………………………………………………………………………… 250

Наивный HRL…………………………………………………………………………………………………………………….. 251

Высокоуровневые и низкоуровневые иерархии с внутренними наградами…………………. 252

Навыки обучения и неконтролируемое RL……………………………………………………………………… 254

Использование навыков в HRL…………………………………………………………………………………………. 255

Выводы HRL………………………………………………………………………………………………………………………. 255

Мультиагентное обучение с подкреплением………………………………………………………………………… 256

Фреймворки MARL…………………………………………………………………………………………………………….. 257

Централизованное или децентрализованное………………………………………………………………….. 259

Алгоритмы с одним агентом……………………………………………………………………………………………… 260

Практический пример: использование децентрализованного обучения
с одним агентом в беспилотном летательном аппарате………………………………………………… 261

Централизованное обучение, децентрализованное выполнение………………………………….. 262

Децентрализованное обучение…………………………………………………………………………………………. 263

Другие комбинации……………………………………………………………………………………………………………. 264

Проблемы MARL……………………………………………………………………………………………………………….. 265

Выводы о MARL………………………………………………………………………………………………………………… 266

Экспертное руководство…………………………………………………………………………………………………………. 267

Клонирование поведения………………………………………………………………………………………………….. 267

Имитационное RL………………………………………………………………………………………………………………. 267

Обратное RL……………………………………………………………………………………………………………………….. 268

Обучение по учебной программе……………………………………………………………………………………… 270

Другие парадигмы…………………………………………………………………………………………………………………… 271

Метаобучение…………………………………………………………………………………………………………………….. 271

Трансферное обучение………………………………………………………………………………………………………. 272

Резюме………………………………………………………………………………………………………………………………………. 273

Дополнительные материалы для чтения……………………………………………………………………………….. 274

Использованные источники……………………………………………………………………………………………………. 275

Глава 9. Практическое обучение с подкреплением………………………………. 279

Жизненный цикл проекта RL………………………………………………………………………………………………….. 279

Определение жизненного цикла……………………………………………………………………………………….. 281

Жизненный цикл науки о данных………………………………………………………………………….. 281

Жизненный цикл обучения с подкреплением……………………………………………………….. 282

Определение проблемы: что такое проект RL?…………………………………………………………………….. 284

Проблемы с RL являются последовательными……………………………………………………………….. 284

Проблемы RL имеют стратегический характер………………………………………………………………. 285

Низкоуровневые индикаторы RL……………………………………………………………………………………… 286

Сущность…………………………………………………………………………………………………………………. 286

Среда……………………………………………………………………………………………………………………….. 286

Состояние………………………………………………………………………………………………………………… 287

Действие…………………………………………………………………………………………………………………… 287

Количественная оценка успеха или неудачи………………………………………………………. 287

Типы обучения……………………………………………………………………………………………………………………. 288

Онлайн-обучение……………………………………………………………………………………………………. 288

Автономное или пакетное обучение……………………………………………………………………… 288

Параллельное обучение…………………………………………………………………………………………. 290

Обучение без сброса………………………………………………………………………………………………. 291

Проектирование и доработка RL…………………………………………………………………………………………… 292

Процесс……………………………………………………………………………………………………………………………….. 293

Инженерия среды……………………………………………………………………………………………………………….. 293

Реализация………………………………………………………………………………………………………………. 294

Моделирование………………………………………………………………………………………………………. 294

Взаимодействие с реальной жизнью…………………………………………………………………….. 295

Инжиниринг состояния или обучение представлениям………………………………………………….. 296

Перспективные модели обучения………………………………………………………………………….. 297

Ограничения……………………………………………………………………………………………………………. 297

Преобразование (уменьшение размерности, автоэнкодеры и модели мира)……. 298

Разработка политики…………………………………………………………………………………………………………. 299

Дискретные состояния……………………………………………………………………………………………. 300

Непрерывные состояния………………………………………………………………………………………… 301

Преобразование в дискретные состояния…………………………………………………………….. 303

Пространства смешанных состояний…………………………………………………………………… 304

Сопоставление политик с пространствами действий…………………………………………………….. 305

Бинарные действия…………………………………………………………………………………………………. 305

Непрерывные действия…………………………………………………………………………………………… 306

Гибридные пространства действий………………………………………………………………………. 306

Когда выполнять действия…………………………………………………………………………………….. 307

Обширные пространства действий……………………………………………………………………….. 307

Исследование……………………………………………………………………………………………………………………… 308

Является ли внутренняя мотивация исследованием?………………………………………….. 309

Количество посещений (выборка)…………………………………………………………………………. 310

Прирост информации (сюрприз)……………………………………………………………………………. 310

Прогноз состояния (любопытство или саморефлексия)………………………………………. 311

Любопытные задачки…………………………………………………………………………………………….. 311

Случайные вложения (сети случайной дистилляции)…………………………………………. 312

Расстояние до новизны (эпизодическое любопытство)………………………………………. 313

Выводы по разведке……………………………………………………………………………………………….. 313

Разработка вознаграждений……………………………………………………………………………………………… 314

Рекомендации по разработке вознаграждений……………………………………………………. 315

Формирование вознаграждения…………………………………………………………………………….. 316

Общие награды……………………………………………………………………………………………………….. 317

Выводы о вознаграждении…………………………………………………………………………………….. 318

Резюме………………………………………………………………………………………………………………………………………. 318

Дополнительные материалы для чтения……………………………………………………………………………….. 319

Использованные источники……………………………………………………………………………………………………. 320

Глава 10. Этапы в обучении с подкреплением……………………………………… 325

Реализация……………………………………………………………………………………………………………………………….. 325

Фреймворки………………………………………………………………………………………………………………………… 326

Фреймворки RL……………………………………………………………………………………………………….. 326

Другие фреймворки…………………………………………………………………………………………………. 328

Масштабирование RL……………………………………………………………………………………………………….. 329

Распределенное обучение (Gorila)…………………………………………………………………………. 330

Обучение на одной машине (A3C, PAAC)…………………………………………………………….. 331

Распределенное воспроизведение (Ape-X)……………………………………………………………. 333

Синхронное распределение (DD-PPO)………………………………………………………………….. 333

Повышение эффективности использования (IMPALA, SEED)…………………………….. 334

Масштабирование сделанных выводов……………………………………………………………….. 336

Оценка…………………………………………………………………………………………………………………………………. 337

Показатели эффективности политики…………………………………………………………………… 338

Статистические сравнения политик……………………………………………………………………… 340

Показатели производительности алгоритма……………………………………………………….. 343

Измерения производительности для конкретных задач……………………………………… 343

Объяснимость………………………………………………………………………………………………………….. 344

Выводы оценки……………………………………………………………………………………………………….. 345

Развертывание………………………………………………………………………………………………………………………….. 346

Цели…………………………………………………………………………………………………………………………………….. 346

Цели на разных этапах развития…………………………………………………………………………… 346

Лучшие практики……………………………………………………………………………………………………. 347

Иерархия потребностей…………………………………………………………………………………………. 348

Архитектура……………………………………………………………………………………………………………………….. 349

Вспомогательные инструменты……………………………………………………………………………………….. 351

Разработка против покупки…………………………………………………………………………………… 352

Мониторинг…………………………………………………………………………………………………………….. 352

Регистрация и отслеживание…………………………………………………………………………………. 353

Непрерывная интеграция и непрерывная доставка…………………………………………….. 353

Отслеживание экспериментов……………………………………………………………………………….. 354

Настройка гиперпараметров…………………………………………………………………………………. 355

Развертывание нескольких агентов………………………………………………………………………. 355

Развертывание политик………………………………………………………………………………………….. 356

Безопасность, защита и этика…………………………………………………………………………………………… 357

Безопасное RL…………………………………………………………………………………………………………. 357

Защитное RL……………………………………………………………………………………………………………. 359

Этическое RL…………………………………………………………………………………………………………… 361

Резюме………………………………………………………………………………………………………………………………………. 363

Дополнительные материалы для чтения……………………………………………………………………………….. 364

Использованные источники……………………………………………………………………………………………………. 365

Глава 11. Выводы и будущее……………………………………………………………….. 369

Советы и рекомендации………………………………………………………………………………………………………….. 369

Формулирование задачи…………………………………………………………………………………………………… 369

Ваши данные………………………………………………………………………………………………………………………. 370

Тренировка…………………………………………………………………………………………………………………………. 371

Оценка…………………………………………………………………………………………………………………………………. 372

Развертывание……………………………………………………………………………………………………………………. 373

Отладка…………………………………………………………………………………………………………………………………….. 373

Алгоритм не может решить проблемы среды!…………………………………………………………………. 375

Мониторинг для отладки…………………………………………………………………………………………………… 376

Будущее обучения с подкреплением……………………………………………………………………………………… 377

Рыночные возможности RL……………………………………………………………………………………………….. 377

Будущее RL и направления исследований………………………………………………………………………. 379

Исследования в промышленности…………………………………………………………………………. 379

Исследования в науке…………………………………………………………………………………………….. 381

Этические стандарты……………………………………………………………………………………………… 383

Заключительные замечания……………………………………………………………………………………………………. 384

Дальнейшие шаги………………………………………………………………………………………………………………. 384

Теперь ваша очередь…………………………………………………………………………………………………………. 385

Дополнительные материалы для чтения……………………………………………………………………………….. 385

Использованные источники……………………………………………………………………………………………………. 386

Приложение 1. Градиент логистической политики для двух действий…. 389

Приложение 2. Градиент политики softmax………………………………………….. 393

Предметный указатель…………………………………………………………………………. 395

Уиндер Фил
Обучение с подкреплением для реальных задач
~~1213 ₽~~
861 ₽

Опубликовано 9 сентября, 2022

Представляем книгу “Тестирование на проникновение с Kali Linux”

Поступила в продажу книга Джоши Пранава иЧанда Дипаяна “Тестирование на проникновение с Kali Linux“.

В книге подробно рассмотрен процесс тестирования на проникновение, его виды, этапы, юридический и практический аспекты. Даны советы по согласованию плана тестирования, выбору инструментария. Рассказано о возможностях дистрибутива Kali Linux, его настройке, принципах работы с командной строкой, показаны примеры вызова различных команд и написания скриптов для автоматизации рутинных процессов. Описан процесс сборки виртуальной лаборатории для тестирования на проникновение. С использованием инструментов Kali Linux максимально подробно и последовательно описываются все этапы пентеста: сбор информации, разведка и сканирование, перечисление работающих в целевых системах сервисов и служб, обнаружение уязвимостей, поиск эксплойтов, эксплуатация и постэксплуатация. Отдельный раздел посвящен правильному оформлению отчета о тестировании на проникновение и сопроводительной документации.

Прочитав книгу, вы познакомитесь с основным инструментарием, доступным пентестеру в Kali Linux:

Освойте на практике процесс тестирования на проникновение и его основные этапы
Настройте виртуальную среду Kali Linux для комфортной работы
Освойте приемы активной и пассивной разведки
Выполните более глубокий анализ уязвимостей, научитесь искать и применять эксплойты
Научитесь решать проблемы при проведении тестирования на проникновение с помощью советов экспертов

Книга предназначена для всех, кто только приступает к изучению основ информационной безопасности и желает освоить практические приемы тестирования на проникновение на наглядных и простых примерах. Весь необходимый инструментарий можно бесплатно загрузить из репозитория GitHub.

Пранав Джоши обладает более чем 20-летним опытом работы в области информационной и кибербезопасности, был руководителем и участником крупно-масштабных проектов в различных сферах бизнеса, таких как банковское дело,финансы, национальные фондовые биржи, страхование, энергетика, нефтехимия, розничная торговля, СМИ, реклама, электронная коммерция, IT/ITES, правительственные и оборонные организации, включая компании из списка Fortune100.

Дипаян Чанда, опытный специалист по кибербезопасности, архитектор и стратег в области кибербезопасности, а также консультант, твердо намеренный решать проблемы кибербезопасности для предприятий. Благодаря более чем 24-летнему опыту работы в различных областях, связанных с безопасностью, ему удалось найти баланс между кибербезопасностью и бизнес-целями. Бывший сотрудник вооруженных сил (ВВС Индии), в настоящее время работает в Национальном банке Австралии.

Книгу “Тестирование на проникновение с Kali Linux” можно купить со скидкой в интернет-магазине издательства “БХВ”.

Джоши Пранав, Чанда Дипаян
Тестирование на проникновение с Kali Linux
~~875 ₽~~
621 ₽

От рецензентов………………………………………………………………………………………. 11

Об авторах……………………………………………………………………………………………… 17

О рецензентах………………………………………………………………………………………… 18

Благодарности……………………………………………………………………………………….. 21

Предисловие…………………………………………………………………………………………… 22

Глава 1. Основы тестирования на проникновение…………………………………. 25

Структура…………………………………………………………………………………………………………………………………… 25

Цели…………………………………………………………………………………………………………………………………………….. 25

Что такое тестирование на проникновение?…………………………………………………………………………… 26

Предварительные действия для тестирования на проникновение………………………………………… 26

Этапы тестирования на проникновение………………………………………………………………………………….. 27

Сбор информации………………………………………………………………………………………………………………. 28

Разведка и сканирование…………………………………………………………………………………………………… 28

Исследование уязвимостей……………………………………………………………………………………………….. 28

Эксплуатация и получение доступа………………………………………………………………………………… 28

Постэксплуатация и поддержание доступа…………………………………………………………………….. 28

Документация и отчетность………………………………………………………………………………………………. 29

Виды тестирования на проникновение……………………………………………………………………………………. 29

Внутреннее тестирование…………………………………………………………………………………………………. 29

Внешнее тестирование………………………………………………………………………………………………………. 29

«Черный ящик», «белый ящик» и «серый ящик»………………………………………………………………. 29

Настройка виртуальной лаборатории тестирования на проникновение…………………………….. 30

Установка VirtualBox…………………………………………………………………………………………………………. 31

Настройка сети VirtualBox………………………………………………………………………………………………… 33

Установка Kali Linux………………………………………………………………………………………………………….. 34

Заключение………………………………………………………………………………………………………………………………… 39

Вопросы……………………………………………………………………………………………………………………………………… 39

Глава 2. Лаборатория для тестирования на проникновение…………………… 41

Структура…………………………………………………………………………………………………………………………………… 41

Цели…………………………………………………………………………………………………………………………………………….. 41

Целевые машины……………………………………………………………………………………………………………………….. 42

Настройка целей………………………………………………………………………………………………………………… 43

Импорт виртуальных целей……………………………………………………………………………………… 44

Специальная инструкция по импорту Kioptrix: 2014…………………………………………….. 45

Концепции, охваченные упражнениями на тестирование…………………………………………………….. 47

Заключение………………………………………………………………………………………………………………………………… 48

Контрольные вопросы………………………………………………………………………………………………………………. 48

Глава 3. Знакомство с Kali Linux……………………………………………………………. 49

Структура…………………………………………………………………………………………………………………………………… 49

Цели…………………………………………………………………………………………………………………………………………….. 49

Изменение пароля по умолчанию…………………………………………………………………………………………….. 51

Изменение часового пояса………………………………………………………………………………………………………… 51

Справка по командам………………………………………………………………………………………………………………… 52

Установка, удаление и обновление пакетов……………………………………………………………………………. 53

apt search <строка-поиска>……………………………………………………………………………………………….. 53

apt show <имя пакета>……………………………………………………………………………………………………….. 54

apt install <имя пакета>……………………………………………………………………………………………………… 54

apt remove <имя пакета>……………………………………………………………………………………………………. 54

apt update……………………………………………………………………………………………………………………………. 55

apt upgrade………………………………………………………………………………………………………………………….. 56

dpkg……………………………………………………………………………………………………………………………………… 56

Поиск файлов……………………………………………………………………………………………………………………………… 56

locate <имя файла>…………………………………………………………………………………………………………….. 56

whereis <имя файла>………………………………………………………………………………………………………….. 57

find <каталог поиска> <критерий> <строка поиска>……………………………………………………… 57

Управление службами в Kali Linux………………………………………………………………………………………….. 58

service <имя службы> start………………………………………………………………………………………………… 58

service <имя службы> restart……………………………………………………………………………………………… 58

service <имя службы> status………………………………………………………………………………………………. 59

service <имя службы> stop…………………………………………………………………………………………………. 59

Обеспечение постоянной работы службы с помощью update-rc.d……………………………….. 60

Основы создания скриптов (сценариев) оболочки………………………………………………………………….. 60

Подстановка команд………………………………………………………………………………………………………….. 60

Цепочка команд и перенаправление ввода, вывода, ошибки………………………………………… 61

Циклы………………………………………………………………………………………………………………………………………….. 64

Плагины для браузера………………………………………………………………………………………………………………. 65

HackBar V2…………………………………………………………………………………………………………………………. 67

Cookie Quick Manager………………………………………………………………………………………………………… 67

Tamper Data for FF Quantum…………………………………………………………………………………………….. 67

Заключение………………………………………………………………………………………………………………………………… 68

Вопросы……………………………………………………………………………………………………………………………………… 68

Глава 4. Понимание этапов процесса тестирования………………………………. 69

Структура…………………………………………………………………………………………………………………………………… 69

Цели…………………………………………………………………………………………………………………………………………….. 69

Важность структурированного тестирования на проникновение………………………………………… 70

Фреймворк для тестирования на проникновение……………………………………………………………………. 71

Этап 1: предварительные действия………………………………………………………………………………………….. 72

Этап 2: планирование……………………………………………………………………………………………………………….. 73

Этап 3: сбор информации…………………………………………………………………………………………………………. 74

Пассивный сбор информации……………………………………………………………………………………………. 74

Активный сбор информации……………………………………………………………………………………………… 75

Историческая информация………………………………………………………………………………………………… 75

Этап 4: разведка………………………………………………………………………………………………………………………… 76

Этап 5: составление перечня служб………………………………………………………………………………………… 77

Получение информации NetBIOS……………………………………………………………………………………… 78

Получение информации SNMP…………………………………………………………………………………………. 79

Получение информации DNS…………………………………………………………………………………………….. 79

Этап 6: исследование уязвимостей………………………………………………………………………………………….. 79

Этап 7: эксплуатация………………………………………………………………………………………………………………… 80

Этап 8: отчетность…………………………………………………………………………………………………………………….. 80

Цели тестирования…………………………………………………………………………………………………………….. 81

Предполагаемые заинтересованные стороны…………………………………………………………………. 81

Краткое резюме………………………………………………………………………………………………………………….. 81

Методология………………………………………………………………………………………………………………………. 81

Выводы и связанные с ними подробности……………………………………………………………………….. 81

Образцы и примеры……………………………………………………………………………………………………………. 82

Уровни риска…………………………………………………………………………………………………………….. 82

Подробные выводы…………………………………………………………………………………………………… 83

Заключение………………………………………………………………………………………………………………………………… 83

Вопросы……………………………………………………………………………………………………………………………………… 83

Глава 5. Планирование и разведка………………………………………………………… 85

Структура…………………………………………………………………………………………………………………………………… 85

Цели…………………………………………………………………………………………………………………………………………….. 85

Планирование теста на проникновение…………………………………………………………………………………… 85

Ожидания клиентов……………………………………………………………………………………………………………………. 86

Объем тестирования………………………………………………………………………………………………………………….. 86

Способы коммуникации……………………………………………………………………………………………………………. 87

Иерархия эскалации в случае возникновения проблем…………………………………………………………. 87

Ключевой персонал…………………………………………………………………………………………………………………… 87

Окно тестирования…………………………………………………………………………………………………………………….. 88

Ограничения тестирования……………………………………………………………………………………………………….. 88

Разведка………………………………………………………………………………………………………………………………………. 89

DC:7…………………………………………………………………………………………………………………………………………….. 90

Digitalworld.local:Joy…………………………………………………………………………………………………………………… 96

Kioptrix:5…………………………………………………………………………………………………………………………………… 100

HackInOS:1………………………………………………………………………………………………………………………………. 103

Sunset:Nightfall…………………………………………………………………………………………………………………………. 105

Mumbai:1………………………………………………………………………………………………………………………………….. 108

Заключение………………………………………………………………………………………………………………………………. 110

Вопросы……………………………………………………………………………………………………………………………………. 110

Глава 6. Составление перечня и сканирование служб………………………….. 111

Структура…………………………………………………………………………………………………………………………………. 111

Цели…………………………………………………………………………………………………………………………………………… 111

ДС-7…………………………………………………………………………………………………………………………………………… 111

Digitalworld.local: Joy……………………………………………………………………………………………………………….. 116

Kioptrix:5…………………………………………………………………………………………………………………………………… 123

HackInOS:1………………………………………………………………………………………………………………………………. 127

Sunset: Nightfall………………………………………………………………………………………………………………………… 131

Mumbai:1………………………………………………………………………………………………………………………………….. 137

Заключение………………………………………………………………………………………………………………………………. 145

Вопросы……………………………………………………………………………………………………………………………………. 145

Глава 7. Исследование уязвимостей……………………………………………………… 147

Структура…………………………………………………………………………………………………………………………………. 147

Цели…………………………………………………………………………………………………………………………………………… 147

DC-7…………………………………………………………………………………………………………………………………………… 148

Digitalworld.local:Joy………………………………………………………………………………………………………………… 153

Kioptrix:5…………………………………………………………………………………………………………………………………… 157

HackInOS:1………………………………………………………………………………………………………………………………. 162

Sunset:Nightfall…………………………………………………………………………………………………………………………. 167

Mumbai:1………………………………………………………………………………………………………………………………….. 170

Заключение………………………………………………………………………………………………………………………………. 173

Вопросы……………………………………………………………………………………………………………………………………. 174

Глава 8. Эксплуатация…………………………………………………………………………. 175

Структура…………………………………………………………………………………………………………………………………. 175

Цели…………………………………………………………………………………………………………………………………………… 175

DC-7…………………………………………………………………………………………………………………………………………… 176

Digitalworld.local:Joy………………………………………………………………………………………………………………… 179

Kioptrix:5…………………………………………………………………………………………………………………………………… 187

HackInOS:1………………………………………………………………………………………………………………………………. 192

Sunset:Nightfall…………………………………………………………………………………………………………………………. 194

Mumbai:1………………………………………………………………………………………………………………………………….. 196

Заключение………………………………………………………………………………………………………………………………. 198

Вопросы……………………………………………………………………………………………………………………………………. 198

Глава 9. Постэксплуатация………………………………………………………………….. 199

Структура…………………………………………………………………………………………………………………………………. 199

Цели…………………………………………………………………………………………………………………………………………… 199

DC-7…………………………………………………………………………………………………………………………………………… 200

Digitalworld.local:Joy………………………………………………………………………………………………………………… 202

Kioptrix:5…………………………………………………………………………………………………………………………………… 206

HackInOS:1………………………………………………………………………………………………………………………………. 209

Sunset:Nightfall…………………………………………………………………………………………………………………………. 213

Mumbai:1………………………………………………………………………………………………………………………………….. 218

Заключение………………………………………………………………………………………………………………………………. 222

Вопросы……………………………………………………………………………………………………………………………………. 222

Глава 10. Отчет…………………………………………………………………………………….. 223

Структура…………………………………………………………………………………………………………………………………. 223

Цели…………………………………………………………………………………………………………………………………………… 223

Составление отчетов……………………………………………………………………………………………………………….. 224

Заинтересованные стороны……………………………………………………………………………………………………. 224

Исполнительный менеджмент…………………………………………………………………………………………. 224

Технический персонал…………………………………………………………………………………………………….. 225

Аудиторы и службы надзора………………………………………………………………………………………….. 225

Что можно и чего нельзя делать при тестировании на проникновение………………………………. 225

Что можно делать…………………………………………………………………………………………………………….. 226

Определять приоритеты факторов риска……………………………………………………………… 226

Повышать квалификацию………………………………………………………………………………………. 226

Не преуменьшать значение отчета……………………………………………………………………….. 226

Участвовать в устранении обнаруженных уязвимостей…………………………………….. 227

Обязательно сделать резервную копию всех ваших данных……………………………… 227

Чего нельзя делать……………………………………………………………………………………………………………. 228

Быть неэтичным………………………………………………………………………………………………………. 228

Не соглашаться с результатами тестирования……………………………………………………. 228

Не соблюдать ограничения объема тестирования………………………………………………. 229

Устанавливать большие промежутки в графике тестирования или проводить тестирование исключительно для соблюдения требований соответствия………………………………………………………………….. 229

Использовать неавторизованные инструменты и скрипты…………………………………. 230

Заключение………………………………………………………………………………………………………………………………. 230

Вопросы……………………………………………………………………………………………………………………………………. 230

ОТЧЕТ ПО РЕЗУЛЬТАТАМ ТЕСТА НА ПРОНИКНОВЕНИЕ (пример)……………………… 231

Детали проекта………………………………………………………………………………………………………………… 233

Список версий…………………………………………………………………………………………………………. 233

Список рассылки…………………………………………………………………………………………………….. 233

Информация о команде тестирования…………………………………………………………………… 233

Информация о представителях заказчика……………………………………………………………. 234

Объем работ……………………………………………………………………………………………………………………… 234

Сроки исполнения проекта…………………………………………………………………………………….. 234

Окно тестирования………………………………………………………………………………………………….. 234

Ограничения теста………………………………………………………………………………………………….. 234

Методология тестирования…………………………………………………………………………………………….. 234

Этап 1: определение объема и планирование……………………………………………………… 235

Этап 2: сбор информации и разведка……………………………………………………………………. 235

Этап 3: составление перечня и сканирование служб………………………………………….. 236

Этап 4: исследование уязвимостей……………………………………………………………………….. 236

Этап 5: эксплуатация……………………………………………………………………………………………… 236

Этап 6: отчетность………………………………………………………………………………………………….. 236

Стандартные определения……………………………………………………………………………………………… 237

Рейтинг уязвимостей………………………………………………………………………………………………………… 237

Краткое резюме………………………………………………………………………………………………………………… 238

Графическое представление результатов тестирования…………………………………….. 238

Список уязвимостей………………………………………………………………………………………………… 238

Обобщенный анализ……………………………………………………………………………………………….. 239

Стратегические рекомендации………………………………………………………………………………. 239

Техническое резюме………………………………………………………………………………………………………… 240

Низкий уровень — 1……………………………………………………………………………………………….. 240

Низкий уровень — 2……………………………………………………………………………………………….. 241

Высокий уровень — 1…………………………………………………………………………………………….. 242

Высокий уровень — 2…………………………………………………………………………………………….. 244

Низкий уровень — 3……………………………………………………………………………………………….. 245

Средний уровень — 1……………………………………………………………………………………………… 246

Средний уровень — 2……………………………………………………………………………………………… 247

Высокий уровень — 3…………………………………………………………………………………………….. 248

Высокий уровень — 4…………………………………………………………………………………………….. 249

Ссылки………………………………………………………………………………………………………………………………. 250

Предметный указатель…………………………………………………………………………. 251

Джоши Пранав, Чанда Дипаян
Тестирование на проникновение с Kali Linux
~~875 ₽~~
621 ₽

Опубликовано 8 сентября, 2022

Вышла книга “Случай с Евсейкой. Сказки”

книгу вошли одни из самых известных сказок выдающегося писателя Максима Горького «Миша», «Воробьишко», «Иванушка-дурачок», «Случай с Евсейкой». Герои этих сказок — мальчик Евсейка, любопытный воробьишко, добрый, но недогадливый Иванушка, начинающий писатель Миша — очень похожи на современных детей. Кроме того, произведения Горького, словно посредники, передают детям разнообразные знания об окружающем мире. А сам Горький считал, что книжки для самых маленьких должны быть просты, понятны, и самое главное, учить добру.

Для младшего школьного возраста

Выдающийся отечественный писатель Максим Горький был организатором и редактором первого советского журнала для детей «Северное сияние», первого детского издательства «Детгиз». С особой ответственностью он подходил к созданию сказок для детей, помня о своем нелегком детстве. Простота изложения, мудрость, добрый юмор — причина того, что произведения великого писателя столь востребованы и по сегодняшний день, не случайно его сказки вошли в золотой фонд детской литературы.

Герои этих сказок — мальчик Евсейка, любопытный воробьишко, добрый, но недогадливый Иванушка, начинающий писатель Миша — очень похожи на современных детей, такие же любознательные, непоседливые и умеют слушать, когда с ними говорят о самом важном.

Книгу можно купить в нашем интернет-магазине.

Горький Максим
Случай с Евсейкой. Сказки
~~463 ₽~~
329 ₽

О художнике

Глебова Инна Валерьевна

Родилась в городе Брянске. Окончила Российскую академию живописи ваяния и зодчества им. Глазунова. В 2006г.принимала участие во III Всероссийском конкурсе молодых художников им. П.М. Третьякова. Сотрудничает с издательствами Москвы и Санкт-Петербурга: «Адонис», «Алтей»,«Филипок и Ко», «Школьная книга», «Издательство Сретенского монастыря», «Искателькнига», «Махаон», «Антология», «Качели» , «БХВ». Член Союза художников Подмосковья. Преподаватель в детской изостудии.

Об авторе

Максим Горький (Алексей Максимович Пешков) родился 28 марта 1868 г. в Нижнем Новгороде. Его отец был столяром-краснодеревщиком, мать происходила из мещанской семьи. После окончания ремесленного училища пытался поступить в Казанский университет. С 1888 года ездил по России, общаясь с революционными деятелями и участвуя в нелегальных кружках.

В начале 1906 года Максим Горький прибыл в Америку, спасаясь от преследования царских властей, где пробыл до осени. Здесь были написаны памфлеты “Мои интервью” и очерки “В Америке”. Вернувшись в Россию в 1906 году Горький написал роман “Мать”. В 1921 г. эмигрировал в знак протеста против политики советской власти, но в 1931 г. вернулся. Еще при жизни, в 1932 г. в честь 40-летие писательской деятельности Горького его имя было присвоено городу Нижнему Новгороду. Горький пять раз был номинирован на Нобелевскую премию по литературе.

Опубликовано 8 сентября, 2022 8 сентября, 2022

Скидка 25% в честь Дня Тестировщика!

Профессия тестировщика ПО появилась относительно недавно и пока еще зачастую недооценивается. Но именно эти специалисты позволяют сэкономить сотни тысяч компаниям, выпускающим на рынок IT-продукты. И конечно же, берегут их от гнева разъяренных пользователей, которым лично пришлось бы встретиться с упущенными багами в программах.

9 сентября эти специалисты отмечают свой профессиональный праздник – День тестировщика. В честь этой даты мы предлагаем скидку 25% на книги по тестированию и информационной безопасности:

Что такое тестирование. Курс молодого бойца

Дружеское знакомство с тестированием программ

Пентест. Секреты этичного взлома

Взлом. Приемы, трюки и секреты хакеров. Версия 2.0

Торопитесь! Скидка будет действовать только один день, 9 сентября!

Также рады сообщить, что сейчас мы готовим к изданию еще две книги по тестированию: “Тест-дизайн. Практическое руководство для начинающих” Ольги Назиной и “Идеальный тестировщик. Полное собрание концепций, навыков и стратегий для высококачественного тестирования программного обеспечения” Кристин Жаквони.

Опубликовано 5 сентября, 2022 5 сентября, 2022

Представляем книгу “Квантовые информационные системы. Теория и практика применения”

В издательстве “БХВ” вышла книга Сергея Запрягаева “Квантовые информационные системы. Теория и практика применения“.

Учебное пособие представляет собой введение в квантовые информационные системы. Рассмотрены основные вопросы квантовой теории, классическая и квантовая модели информационных систем, квантовые алгоритмы и квантовые каналы связи, элементная база квантовых компьютеров. Дан обзор физических методов реализации кубитов, квантовых языков программирования (Open QASM, Qiskit) и программных оболочек (IBM Q Experience, Quantum Composer, Jupiter Notebooks). Рассмотрены практические вопросы реализации квантовых алгоритмов, применения квантовых информационных систем к решению задач квантовой криптографии, использования защищенных квантовых каналов связи и др.

Для студентов направлений “Математика и компьютерные науки” и “Информационные системы и технологии”

Запрягаев Сергей Александрович, доктор физико-математических наук, профессор кафедры цифровых технологий факультета компьютерных наук Воронежского государственного университета. Почетный работник высшего профессионального образования Российской Федерации. Автор более 550 научных публикаций в области физики, математики, в том числе квантовой теории информации и квантовых вычислений.

Книгу “Квантовые информационные системы. Теория и практика применения” можно купить со скидкой в интернет-магазине издательства “БХВ”.

Запрягаев Сергей Александрович
Квантовые информационные системы. Теория и практика применения
~~1163 ₽~~
826 ₽

Оглавление 3
Предисловие 7
Часть 1. Квантовая теория 12
1 Основы квантовой теории 13
1.1 Постулат состояния 13
1.2 Алгебра операторов 19
1.3 Принцип суперпозиции состояний 23
1.4 Постулат об операторах физических величин 25
1.5 Постулат об измерении физической величины 28
1.6 Постулат об эволюции квантовых состояний 31
1.7 Представление квантовых состояний и операторов 33
1.8 Координатное представление квантовой теории 38
1.9 Преобразование квантовых состояний 43
1.10 Оператор момента импульса 48
1.11 Оператор углового момента 50
1.12 Квантовая теория и уравнение Шрёдингера 53
1.13 Квантовые интегралы движения 57
1.14 Примеры решения уравнения Шрёдингера 59
2 Спин 73
2.1 Спин электрона 73
2.2 Свойства матриц Паули 75
2.3 Собственные векторы оператора спина 1/2 78
2.4 Вращение собственных векторов матриц Паули 81
2.5 Уравнение Паули 84
2.6 Прецессия спина в однородном магнитном поле 86
2.7 Спиновый резонанс для свободного электрона 88
2.8 Многоэлектронные атомы. Молекулы 92
2.9 Кубит 99
З Матрица плотности 102
3.1 Чистые и смешанные состояния 102
3.2 Эволюция оператора матрицы плотности 109
3.3 Спиновая матрица плотности 111
3.4 Теорема Шмидта 115
Часть П. Классическая модель информационных систем 117
4 Компьютерные технологии 118
4.1 Основные понятия алгебры логики 119
4.2 Классические логические гейты 121
4.3 Обратимые логические гейты 129
4.4 Коррекция ошибок в классических каналах связи 136
4.5 Классическое шифрование. RSA алгоритм 138
Часть III. Квантовая модель информационных систем 141

5 Квантовые компьютерные технологии 142
5.1 Введение 142
5.2 Сфера Блоха 144
5.3 Однокубитовые гейты 145
5.4 Квантовый интерферометр 150
5.5 Квантовый регистр 153
5.6 Многокубитовые квантовые гейты 156
5.7 Преобразование многокубитовых регистров 162
5.8 Невозможность клонирования кубита 165
5.9 Запутанные состояния 166
5.10 Декогеренция 170
5.11 Вычисление функций и квантовый параллелизм 174
5.12 Общие свойства оператора Уолша Адамара 179
6 Квантовые алгоритмы 182
6.1 Алгоритм Дойча (Deutsch) 182
6.2 Алгоритм Дойча-Йожи (Deutsch-Jozsa) 187
6.3 Алгоритм Саймона 191
6.4 Квантовое преобразование Фурье 195
6.5 Квантовая цепь алгоритма преобразования Фурье 198
6.6 Оценка фазы 206
6.7 Квантовая цепь оценки фазы 209
6.8 Возврат фазы в регистр данных 213
6.9 Собственные значения улитарного оператора 215
6.10 Алгоритм Шора 218
6.11 Алгоритм Гравера. 224
Часть IV. Квантовые каналы связи 229
7 Применение квантовых каналов связи 230
7.1 Квантовый канал связи 230
7.2 Квантовая телепортация 231
7.3 Сверхплотное кодирование 236
7.4 Коррекция ошибок в квантовых каналах связи 239
7.5 Протокол кваптового распределепия ключа ВВ84 242
7.6 Обнаружение злоумышленника в протоколе ВВ84 247
7.7 Протокол квантового распределения ключа В92 249
7.8 Протоколы на основе запутанных состояний 253
7.9 Атаки на протоколы распределения ключа 256
Часть V. Физические реализации квантовых вычислений 259
8 Элементная база 260
8.1 Ионная ловушка 260
8.2 Ядерный магнитный резонанс 267
8.3 Сверхпроводники 271
8.4 Другие технологии 276
8.5 Квантовый компьютер IBM 278
8.5.1 Платформа IBM Quantum Experience 279
8.5.2 Quantum Composer 280
8.5.3 Язык Open QASM 285
8.5.4 Отладочный комплект Qiskit 287
Приложения 290
А Алгоритм факторизации чисел 290
А.1 Порядок числа по модулю 291
А.2 Алгоритм разложения числа 291
В Алгоритм Шора для произвольного периода 294
В.1 Пример 295
С Алгоритм RSA 298
С.1 RSА-шифрование 299
С.2 Цифровая подпись 300
С.3 Взлом RSА-шифрования 300
D Практическая работа на IBM Q 302
D.1 Работа с IBM Q 303
D.2 Пример 312
Литература 315

Запрягаев Сергей Александрович
Квантовые информационные системы. Теория и практика применения
~~1163 ₽~~
826 ₽

Опубликовано 5 сентября, 2022

Представляем книгу “Kubernetes на практике”

Представляем долгожданную книгу Александра Бранда, Ричарда Ландера, Джоша Россо и Джона Харриса “Kubernetes на практике“.

Книга посвящена практическому применению платформы Kubernetes. Подробно рассматривается архитектура Kubernetes и ее составные компоненты. Описаны модели развертывания инфраструктуры, ее топология, принципы автоматизации процессов, среда выполнения контейнеров, хранилища данных и сетевое взаимодействие между элементами системы. Рассматриваются создание и маршрутизация сервисов, управление конфиденциальными данными, допусками, мультитенантность, уровни изоляции и абстрагирование. Приведены наглядные примеры развертывания Kubernetes и оркестрации контейнеров для решения различных практических задач.

Это руководство поможет вам:

оценить возможности создания надежной платформы на основе Kubernetes;
получить практический опыт, который поможет избежать ошибок при создании проектов на основе Kubernetes;
разобраться в том, как архитектура Kubernetes делает возможной разработку расширяемых систем;
взглянуть на вещи глазами внутренних и внешних пользователей и создать платформу, полностью соответствующую их требованиям;
контролировать степень сложности вашей платформы за счет принятия обоснованных решений об абстракциях и используемом инструментарии;
исследовать этапы внедрения Kubernetes, изучить самые современные инструменты, их сильные и слабые стороны.

Александр Бранд начал использовать Kubernetes в 2016 году, помогая в создании одного из первых установщиков этой системы в компании Apprenda. С тех пор Александр поработал в Heptio и VMware, где он занимался проектированием и реализацией платформ на основе Kubernetes для организаций в разных отраслях, включая финансы, здравоохранение, легкую промышленность и др. Являясь программистом по призванию, Александр также участвовал в разработке Kubernetes и других открытых проектов в облачно-ориентированной экосистеме.

Рич Ландер был в числе первых пользователей Docker и еще в 2015 году начал применять контейнеры для выполнения промышленных рабочих заданий. Он усвоил пользу контейнерной оркестрации на собственном опыте и выполняет промышленные приложения в Kubernetes, начиная с версии 1.3. Используя накопленные знания, Рич впоследствии поработал в командах инженерно-технического обеспечения в таких компаниях, как CoreOS (RedHat), Heptio и VMware, помогая внедрять Kubernetes и облачно-ориентированные технологии предприятиям в производственной, торговой и других сферах.

Джош Россо помогает организациям внедрять Kubernetes с момента выхода версии 1.2 (2016 год). За это время он поработал инженером и архитектором в CoreOS (RedHat), Heptio и теперь в VMware. Он участвовал в проектировании и реализации вычислительных платформ для финансовых учреждений, создании граничных вычислительных систем для поддержки 5G и многих других проектах. У него есть опыт работы с окружениями, варьирующимися от аппаратных комплексов, которые администрируются внутри предприятий, до виртуальных машин, предоставляемых облачными провайдерами.

Джон Харрис применяет Docker с 2014 года. Он консультирует многие компании из списка Fortune 50, помогая им успешно внедрять контейнерные технологии и методики. Обладая опытом создания облачно-ориентированных архитектур, проектирования и DevOps, он помогает компаниям любых размеров создавать надежные платформы и приложения на основе Kubernetes. Прежде чем перейти в VMware (через Heptio), он работал архитектором в компании Docker, консультируя ее наиболее стратегически важных клиентов.

Книгу “Kubernetes на практике” можно купить со скидкой в интернет-магазине издательства “БХВ”.

Бранд Александр, Ландер Ричард, Россо Джош, Харрис Джон
Kubernetes на практике
~~1500 ₽~~
1065 ₽

Опубликовано 2 сентября, 2022 2 сентября, 2022

ПРИГЛАШАЕМ НА 35-Ю ММКЯ: БОЛЕЕ 350 МЕРОПРИЯТИЙ ПОД КУПОЛОМ «ГОСТИНОГО ДВОРА»

Сегодня в Москве стартовала 35-я Московская международная книжная ярмарка. Она будет проходить со 2 по 5 сентября 2022 года в выставочном комплексе «Гостиный Двор» (г. Москва, ул. Ильинка, д. 4), в 150 метрах от Кремля и Красной площади.

Более 300 участников представят на ММКЯ новинки и бестселлеры всех жанров по издательским ценам.

За четыре дня ярмарки состоится более 350 мероприятий: презентации книг, встречи с авторами, дискуссии, читки, поэтические перформанс.

Добро пожаловать на наш стенд Д19!

Мы отобрали для вас самые лучшие книги.

Налетай, торопись, книгой детской закупись!!!

Опубликовано 30 августа, 2022 30 августа, 2022

Вышла долгожданная книга “Информационная безопасность для пользователя. Правила самозащиты в Интернете”

В издательстве “БХВ” вышла книга Михаила Райтмана “Информационная безопасность для пользователя. Правила самозащиты в Интернете“.

Книга о безопасной работе в Интернете и защите персональных данных, в том числе с соблюдением мер анонимизации и приватности. Рассматриваются вопросы выбора надежных паролей, использования прокси-серверов, анонимных сетей и VPN, технологии шифрования и защищенного общения. Особое внимание уделено анонимной операционной системе Tails, рекомендуемой Эдвардом Сноуденом. Приведены способы конспиративного общения по защищенным каналам связи и подключения к анонимным сетям, таким как I2P RetroShare и др. Даются практические рекомендации по безопасной работе с торрентами, мессенджерами, файловыми архивами. Книга поможет разобраться в устройстве Даркнета и варезной Сцены. Отдельная глава посвящена луковой архитектуре и браузеру Tor. Особое внимание уделено кастомизации устанавливаемых программ.

Для специалистов по безопасности, системных администраторов, уверенных пользователей Linux

Вы узнаете как:

предотвратить сбор и кражу личных данных через браузер;
шифровать данные;
использовать надежные пароли и многофакторную аутентификацию;
предотвратить вирусные и фишинговые атаки;
безопасно общаться онлайн;
защитить свои устройства от сбора сведений;
получить доступ к заблокированным ресурсам;
получить полную приватность силами операционной системы Tails и многое другое

Райтман Михаил — специалист в области ИТ-технологий, автор и редактор книг по компьютерной тематике. Пишет на тему безопасной работы в Интернете и защиты компьютеров и мобильных устройств пользователей. Автор бестселлера «Как найти и скачать в Интернете любые файлы», выдержавшего 5 переизданий, а также книги «Искусство легального, анонимного и безопасного доступа к ресурсам Интернета», положенной в основу данного издания.

Книгу “Информационная безопасность для пользователя. Правила самозащиты в Интернете” можно купить со скидкой в интернет-магазине издательства “БХВ”.

Райтман Михаил
Информационная безопасность для пользователя. Правила самозащиты в Интернете
~~938 ₽~~
666 ₽

Книга представляет собой введение в мир Arduino — самой популярной платформы для прототипирования электроники с открытым исходным кодом. В ней есть как простые проекты, так и вся необходимая информация для создания собственных конструкций, от списков компонентов до финишной отладки.

Рассмотрены основные принципы интерактивного дизайна и физических вычислений, современные платы Arduino и программные среды, основы электроники, прототипирование на макетной плате, создание принципиальных схем, облачные платформы. Подробно описан ряд практических проектов, в том числе автоматическая система полива растений и проекты с выходом в Интернет через Wi-Fi. Материал изложен с учетом последней версии Arduino IDE и новых плат на базе ARM.

Для читателей, интересующихся электроникой и конструированием

Пятьдесят лет назад для разработки программного обеспечения вам требовалась команда людей в белых халатах, которые знали все об электронных лампах. Но теперь даже моя мама может программировать. Мы позволили множеству людей создавать электронные устройства самостоятельно.
Массимо Банци (Massimo Banzi), один из создателей платы Arduino

Исходные коды примеров можно скачать по ссылке

Вы изучите:

Интерактивный дизайн и физические вычисления
Платы Arduino и программные среды
Основы электричества и электроники
Прототипирование на макетной плате без пайки
Рисование принципиальных схем
Облачные платформы Cloud IDE и Arduino loT Cloud
Автоматическую систему полива растений
Интернет-подключение ARM с поддержкой Wi-Fi

Книгу можно купить в нашем интернет-магазине.

Об авторах

Массимо Банци — соучредитель проекта Arduino. Он создатель интерфейсов для взаимодействия человека с компьютером, преподаватель и пионер аппаратного обеспечения с открытым исходным кодом. Помимо работы в Arduino, в настоящее время он преподает киберфизические системы в университете USI в Лугано (Швейцария), дизайн взаимодействия в SUPSI в Лугано и CIID в Копенгагене.

Майкл Шайло — адъюнкт-профессор Калифорнийского колледжа искусств, где преподает электронику, программирование, робототехнику и мехатронику. Получив диплом инженера-электротехника, Майкл работал в различных фирмах по производству потребительских товаров и встраиваемых систем, прежде чем обнаружил в себе стремление преподавать. Майкл также предпочитает применять свои инженерные навыки в творческих и художественных проектах, а не в бытовых устройствах. Майкл часто читает лекции и выступает на конференциях и в университетах по всему миру. В 2013 году Майкл начал работать в проекте Arduino, рассказывая студентам о платформе прототипирования электроники с открытым исходным кодом и обучая новую аудиторию.

Банци Массимо, Шайло Майкл
Первые шаги с Arduino, 4 изд.
~~625 ₽~~
444 ₽

Аппаратная часть Arduino…….. 27
Интегрированная среда разработки (IDE)…… 30
Установка Arduino IDE на ваш компьютер….. 31
Установка IDE: MacOS…… 31
Настройка драйверов: MacOS…. 31
Выбор порта: MacOS…. 32
Установка IDE: Windows… 33
Настройка драйверов: Windows. 34
Выбор порта: Windows. 34
Установка IDE: Linux……… 35
Настройка драйверов: Linux……. 36
Предоставление разрешений на последовательные порты: Linux 36
Выбор порта: Linux……. 36

4/Начало работы с Arduino….. 39

Анатомия интерактивного устройства… 39
Датчики и приводы.. 40
Мигающий светодиод……. 40
Передайте мне пармезан.. 45
Arduino не для слабаков… 46
Настоящие мастера пишут комментарии…….. 46
Код шаг за шагом….. 47
Чем мы займемся дальше?……… 51
Что такое электричество? 52
Использование кнопки для управления светодиодом… 55
Как это работает?…. 59
Одна схема, тысяча вариантов поведения…… 60

5/Расширенные функции ввода и вывода……. 67

Работа с другими датчиками включения/выключения. 67
Самодельные датчики-переключатели… 69
Управление светом с помощью ШИМ…. 70
Использование фоторезистора вместо кнопки……… 79
Аналоговый вход….. 80
Испробуйте другие аналоговые датчики……… 84
Связь через последовательный порт……. 85
Управление мощной нагрузкой…… 87
Сложные датчики…. 90
Алфавит Arduino……. 90

6/Processing и лампа Arduino.. 93

Планирование. 94
Разработка кода……. 96
Сборка схемы……… 103
Окончательная сборка лампы…… 106

7/Облачный сервис Arduino Cloud. 109

Облачная среда разработки Arduino…. 109
Хранилище проектов Project Hub 111
Облако Интернета вещей IoT Cloud…… 112
Возможности Arduino IoT Cloud.. 114
Стоимость использования Arduino Cloud…… 115

8/Автоматическая система полива сада…….. 117

Планирование……… 119
Тестирование часов реального времени…….. 122
Тестирование реле 128
Принципиальные электрические схемы……… 131
Проверка датчика температуры и влажности……. 142
Программирование……… 146
Установка времени включения и выключения….. 146
Проверка, не пора ли включить или выключить клапан……. 153
Проверка наличия дождя 158
Пишем окончательный код… 160
Сборка схемы……… 170
Макетная плата Proto Shield. 174
Размещение компонентов на Proto Shield…….. 175
Пайка вашего устройства на Proto Shield……. 181
Тестирование собранного устройства.. 195
Размещение вашего устройства в корпусе….. 197
Тестирование готовой системы автоматического полива сада…. 200
Что можно попробовать сделать самостоятельно 201
Список покупок для системы полива…. 201

9/Семейство Arduino ARM…. 205

В чем разница между AVR и ARM?…… 205
Зачем нужны 32-разрядные микроконтроллеры?. 206
В чем разница между микроконтроллером и микропроцессором?……. 207
Что лучше: AVR или ARM?…. 208
Знакомство с платами на базе Arduino ARM……… 208
Особые функциональные возможности……… 210
Рабочее напряжение……. 210
Максимальный ток через вывод… 211
Цифроаналоговый преобразователь…. 212
USB-хост. 212
Размер и форма плат на базе ARM…….. 213

10/Интернет-подключение ARM и проект Fistbump……… 215

Интернет-проект Fistbump…… 215
Знакомство с MQTT: протокол передачи телеметрии 216
Аппаратная часть проекта Fistbump…. 218
Подключение к брокеру MQTT на Shiftr.io….. 222
Подключение проекта Fistbump к Интернету: код Arduino……. 222
Подключение проекта Fistbump к Интернету: веб-страница…. 227

11/Устранение неполадок….. 235

Понимание….. 236
Упрощение и разделение……… 236
Исключение и определенность….. 236
Тестирование платы Arduino. 237
Тестирование схемы на макетной плате……. 239
Выявление проблем…….. 241
Проблемы с установкой драйверов в Windows…… 242
Проблемы с IDE в Windows….. 242
Поиск COM-порта Arduino в Windows.. 243
Другие методы отладки. 245
Как получить помощь онлайн…… 246

ПРИЛОЖЕНИЯ

А/Макетные платы…… 251
Б/Расшифровка обозначений резисторов
и конденсаторов. 255
В/Краткий справочник по программированию для Arduino 259
Г/Условные обозначения на электрических схемах…….. 281
Предметный указатель 285

Банци Массимо, Шайло Майкл
Первые шаги с Arduino, 4 изд.
~~625 ₽~~
444 ₽

Опубликовано 22 августа, 2022

Новинка: Нескучная математика для детей от 9 лет

Книга содержит разнообразные занимательные задания и способствует развитию логики, аналитических и математических способностей, пространственного воображения, памяти, внимания и сосредоточенности у детей от 9 лет. Все задания объединены по темам: задания с фигурами; составление чисел, логические задачи, четность, комбинаторика, запись чисел, сравнение и перевод величин, периметр и площадь, вычисления и уравнения и другие нескучные задания. Ответы на все задания даны в конце книги.

Детям книга поможет содержательно провести свободное время, более успешно усвоить школьную программу и участвовать в математических конкурсах и олимпиадах, учителям — проводить занимательные уроки и дополнительные занятия, родителям — интересно организовать совместный досуг.

Книгу можно купить в нашем интернет-магазине.

Об авторе

Андреева Анна Олеговна, окончила Балтийский государственный технический университет “Военмех” по двум профильным специальностям, преподает математику в Санкт-Петербургском техническом колледже. Опыт репетиторской деятельности более 12 лет. Автор книг «ГИА по математике. Практическая подготовка», «ЕГЭ по математике. Практическая подготовка», «Нескучная математика для детей от 7 лет» и др.

Андреева Анна Олеговна
Нескучная математика для детей от 9 лет
~~261 ₽~~
185 ₽

Контроллеры

Платы

Двигатели, сервоприводы

Микросхемы, транзисторы

Датчики

Модули

Питание

Кабели, провода

Корпуса, крепежи, боксы

Инструменты

WikiBook

Кому следует прочитать эту книгу?

Прочитав книгу, вы познакомитесь с основным инструментарием, доступным пентестеру в Kali Linux:

О художнике

Об авторе

Это руководство поможет вам:

Оглавление

Об авторах