Автор: Никита Жаров

Опубликовано

Вышла книга: Невероятная история Кындыкан. Эвенская сказка

Невероятная история Кындыкан. Эвенская сказка

Книга создана по мотивам подлинной истории, случившейся в Якутии двести лет назад. У подножья величественных Верхоянских гор якутские охотники нашли маленькую девочку по имени Кындыкан. Она оказалась единственной выжившей в эвенском стойбище, полностью вымершем от оспы.

Спасенная Кындыкан выросла, получила церковное имя Попова Мария Андреевна и прожила долгую жизнь — больше ста лет, оставив после себя много потомков. Илаан-Маргарита Попова — одна из них — стала вдохновительницей и инициатором появления этой сказки, в которой переплелись исторические факты, древние предания и обычаи эвенов. История о силе и стойкости духа всех коренных народов уже стала этно-брендом — масштабным проектом, несущим миссию сохранить и популяризовать культуру народов Севера и Арктики.

Эта история случилась двести лет назад в эвенском стойбище. Коварная и неизвестная тогда оспа пряталась в нартах с мехами и заморскими товарами. И безобидная покупка на ярмарке обернулась бедой — болезнь вырвалась на волю и захватила всё на своем пути. В живых осталась только девочка Кындыкан, которую духи посчитали достойной продолжить свой род. Кындыкан отправляется на поиски людей, у которых надеется найти спасение и приют. Олень Гиркэ и горностай Кока становятся верными друзьями девочки на этом опасном пути.

Благодаря потомку Кындыкан Илаан-Маргарите Поповой и писательнице из Якутска Лидии Туллук эта история стала литературной сказкой. По ней вышел мультфильм и поставлено три детских спектакля.

Эта книга о чуде, силе рода, торжестве жизни. Посвящается таким малочисленным, но стойким людям — всем коренным народам Севера!

Книгу “Невероятная история Кындыкан. Эвенская сказка” можно купить в нашем интенет-магазине.

Опубликовано

Вышла книга: Искусственный интеллект с LangChain. Разработка ИИ-агентов на Python

Искусственный интеллект с LangChain. Разработка ИИ-агентов на Python

Книга представляет собой практическое руководство по интеграции искусственного интеллекта в процесс разработки на Python. Рассматривается применение ИИ-ассистентов, включая ChatGPT и аналогичные языковые модели, для повышения эффективности на всех этапах жизненного цикла ПО: от сбора требований и проектирования до написания кода, тестирования, развертывания и мониторинга. На примере сквозного проекта (USB T-Shirt Launcher) и реальных сценариев шаг за шагом показано, как использовать ИИ для автоматизации рутинных задач, генерации чистого и безопасного кода, рефакторинга по принципам SOLID, написания тестов, настройки CI/CD и развертывания в облаке. Изложенная методология универсальна и позволяет применять описанные принципы с любым доступным ИИ-инструментом, превращая его в эффективного помощника для ускорения разработки и повышения качества кода.

ИИ-агент — это программа, которая не просто рассуждает, а сама выполняет действия: ищет информацию в Интернете или локальных файлах, сохраняет данные и многое другое.

Разработка таких агентов — самое перспективное направление в программировании сегодня. А главный инструмент для их создания — библиотека LangChain.

Хотите научиться писать ИИ-агентов на Python с помощью LangChain и построить карьеру в IT? Эта книга для вас.

На трёх простых примерах вы быстро и легко освоите основы ИИ-программирования, научитесь создавать агентов, подключать любые языковые модели, доступные в России, работать с сообщениями, разрабатывать собственные инструменты.

Вы узнаете о продвинутых темах: посредники, управление состоянием и контекстом, прерывания, RAG-агенты, мультиагентные системы, протокол MCP, мультимодальные сообщения. А также реализуете агентов в виде Telegram-ботов, веб-приложений и графических интерфейсов.

Книга содержит множество примеров, листингов и готовых учебных программ, многие из которых пригодятся на практике.

 

 

Дронов Владимир Александрович

Дронов Владимир Александрович, профессиональный программист, писатель и журналист, работает с компьютерами с 1987 года. Автор более 30 популярных компьютерных книг, в том числе «Django 2.1. Практика создания веб-сайтов на Python», “HTML, JavaScript, PHP и MySQL. Джентльменский набор Web-мастера“, «Python 3. Самое необходимое», «Python 3 и PyQt 5. Разработка приложений», “Laravel. Быстрая разработка современных динамических Web-сайтов на PHP, MySQL, HTML и CSS“, “Angular 4. Быстрая разработка сверхдинамических Web-сайтов на TypeScript и PHP” и книг по продуктам Adobe Flash и Adobe Dreamweaver различных версий. Его статьи публикуются в журналах “Мир ПК” и “ИнтерФейс” (Израиль) и интернет-порталах “IZ City” и “TheVista.ru”.

Книгу “Искусственный интеллект с LangChain. Разработка ИИ-агентов на Python” можно купить в нашем интенет-магазине.

Предисловие 13
ИИ-клиенты и ИИ-агенты. Преимущества ИИ-агентов 13
Почему LangChain? 14
Использованные программные продукты 15
Типографские соглашения 16
ЧАСТЬ I. ВВОДНЫЙ КУРС 19
Глава 1. ИИ-клиент и простой ИИ-агент 21
1.1. Выбор большой языковой модели. GigaChat 21
1.2. Регистрация в личном кабинете GigaChat API и получение ключа авторизации 21
1.3. ИИ-клиент 22
1.3.1. Установка необходимых библиотек 23
1.3.2. Написание ИИ-клиента 23
1.4. Простой ИИ-агент 25
1.4.1. Простой ИИ-агент: создание агента LangChain 25
1.4.2. Простой ИИ-агент: работа с сообщениями 26
1.4.3. Простой ИИ-агент: инструмент 27
1.4.4. Простой ИИ-агент: вводная (системный промпт) 29
1.4.5. Простой ИИ-агент: история сообщений, состояние агента и хранилище состояния 31
1.5. Что еще нужно знать о больших языковых моделях, библиотеке LangChain
и не только? 32
Глава 2. Более сложный ИИ-агент 34
2.1. Более сложный ИИ-агент: начало разработки 34
2.2. Более сложный ИИ-агент: база данных пицц 36
2.3. Более сложный ИИ-агент: инструменты 37
2.3.1. Инструменты, часть 1 37
2.3.2. Инструменты, часть 2 38
2.3.3. Инструменты, часть 3 39
2.4. Более сложный ИИ-агент: вводная 42
2.5. Более сложный ИИ-агент: очистка истории. Посредники 44
2.6. Что еще нужно знать о посредниках, очистке истории и не только? 46
ЧАСТЬ II. БИБЛИОТЕКА LANGCHAIN: ОСНОВНЫЕ ВОЗМОЖНОСТИ 49
Глава 3. Установка библиотеки LangChain. Агенты LangChain 51
3.1. Понятие и назначение агента LangChain 51
3.2. Создание агента LangChain 51
3.3. Задание вводной у агента 53
3.4. Работа агента LangChain 54
3.5. Понятия состояния, общего хранилища и контекста агента LangChain 54
Глава 4. Соединение с языковой моделью 56
4.1. Создание соединения с языковой моделью 56
4.1.1. Использование функции init_chat_model() 56
4.1.1.1. Остальные параметры соединения 58
4.1.2. Использование классов соединений 59
4.2. Поддерживаемые языковые модели и соединение с ними 60
4.2.1. Облачные языковые модели 60
4.2.1.1. «Сбер» GigaChat 60
4.2.1.2. Google Gemini 62
4.2.1.3. YandexGPT 63
4.2.1.4. DeepSeek 65
4.2.2. HuggingFace 66
4.2.3. Ollama 68
Глава 5. Сообщения 70
5.1. Классы сообщений 70
5.1.1. BaseMessage 70
5.1.2. AIMessage 71
5.1.3. ToolMessage 72
5.1.4. Примеры сообщений разных разновидностей 72
5.2. Отправка вопросов и получение ответов: обычный режим 73
5.2.1. Отправка вопроса и получение ответа целиком: обычный режим 74
5.2.1.1. Отправка вопроса с указанием выдать ответ целиком: обычный режим 74
5.2.1.2. Получение ответа целиком: обычный режим 75
5.2.2. Отправка вопроса и получение ответа чанками: обычный режим 76
5.3. Отправка вопросов и получение ответов: конкурентный режим 78
5.4. Отладочный вывод сообщений 79
5.5. Что еще нужно знать о сообщениях? 82
Глава 6. Структурированный вывод 83
6.1. Объявление структуры вывода 83
6.1.1. Типизированные словари 83
6.1.2. Датаклассы 86
6.1.3. Модели Pydantic 86
6.2. Задание структуры вывода 88
6.3. Получение структурированного вывода 88
6.4. Обработка ошибок структурирования вывода 89
6.5. Программа для обработки почтовых адресов 91
6.5.1. Обработчик почтовых адресов: соединение с моделью, вводная и структура адреса 91
6.5.2. Обработчик почтовых адресов: агент и стартовый модуль 92
6.6. Мультиструктурный вывод 95
6.7. Структурированный вывод и языковые модели GigaChat 96
6.8. Что еще нужно знать о структурированном выводе? 97
Глава 7. Инструменты, часть 1 99
7.1. Объявление инструментов 99
7.1.1. Объявление инструментов-функций 99
7.1.2. Объявление инструментов-классов 102
7.2. Указание инструментов при создании агента 103
Глава 8. Инструменты, часть 2 105
8.1. Поиск в Интернете 105
8.1.1. DuckDuckGo 105
8.1.1.1. DuckDuckGo: базовый вывод 106
8.1.1.2. DuckDuckGo: расширенный вывод 106
8.1.1.3. DuckDuckGo: настройки поиска 107
8.1.2. Tavily Search 108
8.2. Поиск на отдельных веб-сайтах 110
8.2.1. Википедия 110
8.2.2. Wikidata 111
8.2.3. Google Books 112
8.3. Работа с базами данных 113
8.3.1. Создание пула соединений с базой данных 114
8.3.2. Создание объекта самой базы данных 115
8.3.3. Создание набора инструментов для работы с базой данных 116
8.3.4. Указание инструментов при создании агента 117
8.3.5. ИИ-программа телефонного справочника 118
8.3.5.1. ИИ-телефонный справочник: соединение с языковой моделью и вводная 118
8.3.5.2. ИИ-телефонный справочник: инструменты для работы
с базой данных 119
8.3.5.3. ИИ-телефонный справочник: агент и остальные модули 119
8.4. Работа с локальными файлами 121
8.4.1. Создание набора инструментов для работы с локальными файлами 121
8.4.2. ИИ-программа для создания заготовок программного кода 122
8.5. Что еще нужно знать об инструментах? 123
Глава 9. Работа с историей сообщений 124
9.1. Доступ к истории сообщений 124
9.1.1. Доступ к истории сообщений в инструментах 124
9.1.2. Доступ к истории сообщений в посредниках 125
9.2. Работа с историей сообщений 126
9.3. Внесение изменений в историю сообщений 127
9.4. Очистка истории сообщений 128
9.4.1. Непосредственное удаление сообщений 128
9.4.2. Обрезка истории 129
9.4.2.1. Обрезка истории: делаем сами 129
9.4.2.2. Обрезка истории: используем функцию trim_messages() 129
9.4.3. Удаление результатов вызова инструментов 131
9.4.4. Подведение итогов 132
ЧАСТЬ III. БИБЛИОТЕКА LANGCHAIN:
РАСШИРЕННЫЕ ВОЗМОЖНОСТИ 135
Глава 10. Посредники, часть 1 137
10.1. Посредники однократного вызова 137
10.1.1. Объявление посредников однократного вызова 137
10.1.2. Результаты, возвращаемые посредниками однократного вызова 139
10.1.2.1. None — не делать ничего 139
10.1.2.2. Сообщения — добавить их в историю 140
10.1.2.3. Команда перехода 140
10.2. Посредники двукратного вызова 141
10.2.1. Объявление посредников двукратного вызова 141
10.2.2. Работа посредников двукратного вызова 143
10.2.3. Классы запроса к языковой модели, вызова инструмента и результата, выданного языковой моделью 143
10.2.3.1. Класс ModelRequest: обращение к языковой модели 143
10.2.3.2. Класс ToolCallRequest: обращение к инструменту 145
10.2.3.3. Класс ModelResponse: результат обращения к языковой модели 145
10.2.4. Результаты, возвращаемые посредниками двукратного вызова 146
10.2.4.1. Изначальный результат обращения к языковой модели
или вызова инструмента 146
10.2.4.2. Результат, сгенерированный посредником 147
10.3. Посредники, создающие вводные 149
10.4. Посредники-классы 150
10.5. Указание посредников при создании агента 152
10.6. Последовательность выполнения посредников 152
Глава 11. Посредники, часть 2 154
11.1. LLMToolSelectorMiddleware: выбор используемых инструментов 154
11.2. ModelCallLimitMiddleware: ограничение количества обращений
к языковой модели 155
11.3. ToolCallLimitMiddleware: ограничение количества вызовов инструмента 156
11.4. ShellToolMiddleware: выполнение команд системной консоли 157
11.5. FilesystemFileSearchMiddleware: поиск файлов 160
11.6. TodoListMiddleware: список запланированных дел 161
11.7. LLMToolEmulator: имитация вызовов инструментов 163
Глава 12. Состояние, контекст агента и общее хранилище 164
12.1. Состояние агента 164
12.1.1. Задание структуры состояния агента 164
12.1.2. Чтение данных из состояния агента 165
12.1.3. Запись данных в состояние агента 166
12.2. Контекст агента 168
12.2.1. Задание структуры контекста агента 168
12.2.2. Указание контекста агента 168
12.2.3. Чтение данных из контекста агента 168
12.3. Общее хранилище 170
12.3.1. Указание общего хранилища 170
12.3.2. Структура общего хранилища 170
12.3.3. Работа с общим хранилищем 171
12.3.3.1. Запись документов 171
12.3.3.2. Чтение документов 171
12.3.3.3. Поиск документов 172
12.3.3.4. Перечисление пространств имен 173
12.3.3.5. Удаление документов 174
12.3.4. Доступ к общему хранилищу 174
Глава 13. Хранилища 177
13.1. Хранилища состояния 177
13.1.1. InMemorySaver: оперативная память 177
13.1.2. SqliteSaver: база данных SQLite 178
13.1.3. MongoDBSaver: база данных MongoDB 179
13.1.4. PostgresSaver: база данных PostgreSQL 180
13.1.5. PyMySQLSaver: база данных MySQL 181
13.2. Общие хранилища 182
13.2.1. InMemoryStore: оперативная память 182
13.2.2. SqliteStore: база данных SQLite 182
13.2.3. MongoDBStore: база данных MongoDB 182
13.2.4. PostgresStore: база данных PostgreSQL 183
13.2.5. PyMySQLStore: база данных MySQL 184
13.3. Что еще нужно знать о хранилищах? 184
Глава 14. Прерывания и преграды 185
14.1. Прерывания 185
14.1.1. HumanInTheLoopMiddleware: встроенный посредник,
выполняющий прерывания 185
14.1.1.1. HumanInTheLoopMiddleware: создание объекта посредника 185
14.1.1.2. HumanInTheLoopMiddleware: реагирование на прерывания 188
14.1.1.2.1. HumanInTheLoopMiddleware: реагирование на прерывания при выдаче ответа целиком 188
14.1.1.2.2. HumanInTheLoopMiddleware: реагирование на прерывания при выдаче ответа чанками 192
14.1.2. Самостоятельное выполнение прерываний и реагирование на них 192
14.1.2.1. Самостоятельное выполнение прерываний 192
14.1.2.2. Реагирование на самостоятельно выполненное прерывание 193
14.2. Преграды 194
14.2.1. Встроенные преграды 194
14.2.1.1. PIIMiddleware: выявление и блокирование конфиденциальных данных 194
14.2.1.2. ShellToolMiddleware: выполнение команд системной консоли — функциональность преграды 196
14.2.2. Написание своих преград 197
Глава 15. Обработка ошибок 199
15.1. Обработка ошибок в инструментах 199
15.1.1. Самостоятельная обработка ошибок 199
15.1.1.1. Обработка ошибок в конкретном инструменте 199

15.1.1.2. Обработка критических ошибок 200
15.1.1.3. Централизованная обработка ошибок в посреднике 200
15.1.2. ToolRetryMiddleware: повторный вызов инструмента в случае ошибки 201
15.2. Обработка ошибок в посредниках 203
15.3. Обработка ошибок в агентах 203
15.4. ModelFallbackMiddleware: переключение на запасную языковую модель 204
Глава 16. Разработка RAG-агентов, часть 1 205
16.1. Первый RAG-агент, использующий программно сформированные документы 205
16.1.1. Первый RAG-агент: документы, содержащие рецепты пицц 206
16.1.2. Первый RAG-агент: сплиттер, эмбеддинг и векторное хранилище 207
16.1.3. Первый RAG-агент: ретривер 208
16.1.4. Первый RAG-агент: вводная и всякие мелочи 210
16.2. Второй RAG-агент, загружающий документ из PDF-файла 211
16.3. Документы LangChain 212
16.3.1. Программное формирование документов 212
16.3.2. Загрузка документов из сторонних файлов. Загрузчики 213
16.3.2.1. Методы загрузчиков, предназначенные для создания документов 213
16.3.2.2. PyPDFLoader: один PDF-файл 214
16.3.2.3. PyPDFDirectoryLoader: все PDF-файлы в указанной папке 214
16.3.2.4. WebBaseLoader: отдельные веб-страницы 215
16.3.2.5. RecursiveUrlLoader: заданная веб-страница и все веб-страницы, на которые она ссылается 216
16.4. Сплиттеры 218
16.4.1. RecursiveCharacterTextSplitter: разбиение с сохранением структуры текста 218
16.4.2. CharacterTextSplitter: быстрое разбиение текста 219
16.4.3. Сплиттеры веб-страниц 220
16.4.3.1. HTMLHeaderTextSplitter: быстрое разбиение по заголовкам 220
16.4.3.2. HTMLSectionSplitter: разбиение по заголовкам на чанки ограниченного размера 221
16.4.3.3. HTMLSemanticPreservingSplitter: разбиение с сохранением структуры содержимого веб-страниц 222
16.5. Что еще нужно знать о разработке RAG-агентов, описанных в этой части темы? 223
Глава 17. Разработка RAG-агентов, часть 2 225
17.1. Эмбеддинги 225
17.1.1. «Сбер» GigaChat Embeddings 225
17.1.2. Google Gemini Embeddings 226
17.1.3. YandexGPT Embeddings 226
17.1.4. Эмбеддинги, доступные на HuggingFace 226
17.1.5. Эмбеддинги, работающие под управлением Ollama 227
17.2. Векторные хранилища 228
17.3.1. Создание векторного хранилища 228
17.3.1.1. InMemoryVectorStore: оперативная память 229
17.3.1.2. Chroma: оперативная память или локальный диск 230
17.3.1.3. PGVector: база данных PostgreSQL 231
17.3.2. Работа с векторным хранилищем 232
17.3. Ретриверы 234
17.4. Инструменты для поиска в векторном хранилище 234
17.5. Что еще нужно знать о разработке RAG-агентов, описанных в этой части темы? 235
Глава 18. Мультиагентные ИИ-программы 236
18.1. Принципы разработки мультиагентных ИИ-программ 236
18.2. Пример: ИИ-программа для работы с файлами и базой данных 237
Глава 19. Глубинные агенты LangChain 241
19.1. ИИ-программа исследователя рынка, основанная на глубинном агенте 242
19.2. Возможности глубинных агентов 244
19.3. Создание глубинных агентов 245
19.4. Описание подчиненных агентов 246
19.4.1. Описание подчиненных агентов в виде словарей 246
19.4.2. Описание подчиненных агентов в виде объектов 247
19.5. Файловые системы глубинных агентов 248
19.5.1. StateBackend: виртуальная, в хранилище состояния 249
19.5.2. StoreBackend: виртуальная, в общем хранилище 250
19.5.3. FilesystemBackend: физическая, в папке с заданным путем 250
19.5.4. CompositeBackend: гибридная 251
19.6. Хранение информации в файлах 252
19.6.1. Заметки для глубинного агента 252
19.6.2. Навыки глубинного агента 254
19.6.3. Сохранение произвольных данных 256
19.7. Прерывания в глубинных агентах 257
Глава 20. Протокол MCP. Доступ к удаленным инструментам 258
20.1. Базовые средства для разработки инструмент-серверов и инструмент-клиентов. MCP-серверы и MCP-клиенты 258
20.1.1. Написание инструмент-серверов 258
20.1.1.1. Создание MCP-сервера 259
20.1.1.2. Создание инструментов 260
20.1.1.3. Активизация MCP-сервера 261
20.1.1.4. Запуск инструмент-сервера 262
20.1.2. Написание инструмент-клиентов 263
20.1.2.1. Создание MCP-клиента 263
20.1.2.2. Получение списка инструментов, предоставляемых
инструмент-серверами 265
20.1.2.3. Особенности работы с агентом в случае использования
удаленных инструментов 265
20.2. Расширенные средства для разработки инструмент-серверов
и инструмент-клиентов 266
20.2.1. Ресурсы 266
20.2.1.1. Создание ресурсов в программе инструмент-сервера 266
20.2.1.2. Загрузка ресурсов в программе инструмент-клиента 267
20.2.2. Перехватчики вызовов 269
20.2.2.1. Объявление перехватчиков вызовов 269
20.2.2.2. Класс MCPToolCallRequest: обращение к удаленному
инструменту 270
20.2.2.3. Результаты, возвращаемые перехватчиками вызовов 272
20.2.2.4. Указание перехватчиков вызовов при создании MCP-клиента 273
20.2.2.5. Последовательность выполнения перехватчиков вызовов 273
20.2.3. Доступ к HTTP-заголовкам в теле инструментов 273
20.2.4. Контекст MCP-сервера и функции обратного вызова MCP-клиента 274
20.2.4.1. Пересылка текстовых сообщений 274
20.2.4.2. Индикация хода процесса 276
20.2.4.3. Запрос у пользователя подтверждения на выполнение операции 278
Глава 21. Мультимодальные сообщения 282
21.1. Работа с мультимодальными сообщениями средствами LangChain 282
21.1.1. Отправка в мультимодальных вопросах содержимого файлов 284
21.2. Мультимодальные сообщения и языковые модели GigaChat 285
21.2.1. Создание мультимодальных вопросов 285
21.2.2. Обработка мультимодальных ответов 287
ЧАСТЬ IV. ОФОРМЛЕНИЕ ИИ-АГЕНТОВ 291
Глава 22. Оформление ИИ-агентов в виде Telegram-ботов 293
22.1. Получение бот-жетона 293
22.2. Простой Telegram-бот: ИИ-приемщик заказов 295
22.2.1. Простой Telegram-приемщик заказов: обработка сообщений 295
22.2.2. Простой Telegram-приемщик заказов: собственно бот 296
22.2.3. Простой Telegram-приемщик заказов: остальной код 299
22.3. Создание Telegram-приложения 300
22.4. Запуск Telegram-приложения 301
22.5. Обработка обновлений разных видов 301
22.5.1. Обработка поступающих команд 301
22.5.1.1. Объявление обработчиков команд 302
22.5.1.2. Update: класс сведений о последнем обновлении 302
22.5.1.3. Message: класс сообщения 303
22.5.1.4. Класс контекста обработчика 304
22.5.1.5. User: класс пользователя Telegram 305
22.5.1.6. Оформление обработчиков команд 306
22.5.1.7. Указание обработчиков у Telegram-приложения 307
22.5.2. Обработка поступающих сообщений 307
22.6. Дополнительные средства для разработки Telegram-ботов 308
22.6.1. Использование экранной клавиатуры 308
22.6.1.1. Создание и вывод экранной клавиатуры 308
22.6.1.2. Реагирование на нажатия кнопок экранной клавиатуры 309
22.6.2. Отправка пользователю изображений 311
22.6.3. Отправка пользователю видео 314
22.7. Что еще нужно знать о разработке Telegram-ботов? 315
Глава 23. Оформление ИИ-агентов в виде веб-приложений 316
23.1. Веб-ИИ-агент, версия 0.1 316
23.1.1. Веб-ИИ-агент, версия 0.1: обработка сообщений 317
23.1.2. Веб-ИИ-агент, версия 0.1: веб-интерфейс 317
23.1.3. Веб-ИИ-агент, версия 0.1: запуск и тестирование 319
23.1.4. Веб-ИИ-агент, версия 0.1: фронтенд 323
23.2. Создание приложения FastAPI 327
23.3. Объявление контроллеров 328
23.3.1. Генерирование и выдача серверных ответов 328
23.3.2. Получение данных от пользователя 329
23.3.2.1. Данные в формате JSON 329
23.3.2.2. Данные в формате Form Data 330
23.3.2.3. GET-параметры 330
23.3.2.4. URL-параметры 331
23.3.2.5. Данные из cookie 331
23.3.3. Создание cookie 332
23.4. Создание маршрутов 332
23.5. Веб-ИИ-агент, версия 1.0 333
23.6. Поддержка протокола Websockets 335
23.6.1. Объявление Websockets-контроллеров 335
23.6.2. WebSocket: класс соединения Websockets 336
23.6.3. Обработка разрыва соединения клиентом 337
23.6.4. Создание Websockets-маршрутов 338
23.7. Веб-ИИ-агент: версия 2.0 338
23.7.1. Веб-ИИ-агент, версия 2.0: бэкенд 338
23.7.1.1. Веб-ИИ-агент, версия 2.0: обработка сообщений 338
23.7.1.2. Веб-ИИ-агент, версия 2.0: веб-приложение 339
23.7.2. Веб-ИИ-агент, версия 2.0: фронтенд 341
23.8. Веб-ИИ-агент, версия 2.1: очистка истории сообщений после разрыва соединения 343
23.9. Что еще нужно знать о разработке веб-ИИ-приложений? 344
Глава 24. Оформление ИИ-агентов в виде графических приложений 346
24.1. Графический ИИ-агент, версия 1.0 346
24.1.1. Графический ИИ-агент, версия 1.0: разработка 346
24.1.2. Графический ИИ-агент, версия 1.0: запуск 349
24.2. Оконные элементы 350
24.2.1. Базовые классы оконных элементов 350
24.2.2. Элементы управления 353
24.2.2.1. Надпись 353
24.2.2.2. Поле ввода 354
24.2.2.3. Флажок 355
24.2.2.4. Группа переключателей 355
24.2.2.5. Раскрывающийся список 356
24.2.2.6. Кнопка 359
24.2.3. Дополнительные оконные элементы 359
24.2.3.1. Графический элемент 359
24.2.3.2. Текст в формате Markdown 360
24.2.4. Контейнеры 361
24.2.4.1. Базовый класс контейнеров 361
24.2.4.2. Колонка 362
24.2.4.3. Строка 363
24.2.4.4. Прокручивающийся перечень 364
24.2.4.5. Сетка 364
24.3. Графический ИИ-агент, версия 1.1 365
24.4. Обработка событий 367
24.5. Вывод оконных элементов в окне 368
24.6. Дополнительные программные инструменты 368
24.6.1. Работа с клиентской областью окна 368
24.6.2. Управление окном 369
24.6.3. Вывод стандартных файловых диалоговых окон 371
24.7. Что еще нужно знать о разработке графических приложений? 373
Заключение 374
Приложение. Описание файлового архива 376
Предметный указатель 377

Опубликовано

Вышла книга: Оптимизация производительности современных процессоров. 2-е изд.

Оптимизация производительности современных процессоров. 2-е изд.

В книге сделан исчерпывающий анализ низкоуровневого устройства процессоров, их архитектур, инструкций, кэша и тонких аспектов оптимизации производительности. На материале тщательно подобранных кейсов, разнообразных бенчмарков и измерений книга демонстрирует потенциально узкие места в работе процессора, устранив которые путем разумных компромиссов можно нарастить его производительность. Рассмотрены инструменты для анализа производительности CPU, средства оптимизации вычислений, доступа к памяти, компоновки памяти, а также детали работы с регистрами и машинным кодом. Особое внимание уделено оптимизации многопоточных приложений.
Книга будет полезна опытным специалистам по разработке программного обеспечения, включая разработчиков приложений, библиотек, компиляторов и операционных систем, а также исследователям и ученым-информатикам.

Почему стоит читать эту книгу?

Современное программное обеспечение очень неэффективно. Процессоры обычно исполняют плохо оптимизированный код, который потребляет больше энергии, чем мог бы, и тем самым способствует выбросам углерода и другим экологическим проблемам. Неэффективное программное обеспечение снижает прибыль компаний и уменьшает их рыночную стоимость. В течение многих лет оптимизация производительности процессоров и чипов считалась узкоспециализированным занятием для «гиков», но сейчас она выходит в мейнстрим, поскольку поставщики программного обеспечения осознают, какое влияние плохо оптимизированный код оказывает на их финансовые показатели. Производительность кода — один из ключевых факторов успеха.

Чему вы научитесь?

Эксперт по производительности вычислительных машин Денис Бахвалов объясняет, как делать низкоуровневые оптимизации с использованием продвинутых методов и инструментов. Прочитав эту книгу, вы сможете находить причины снижения производительности своего приложения и находить разнообразные возможности его оптимизации. Книга изобилует практическими примерами и упражнениями.

Книга посвящена низкоуровневой оптимизации производительности: от анализа архитектуры CPU до работы с регистрами и машинным кодом

Ключевые темы:

  • Как правильно измерять производительность кода
  • Архитектура современных процессоров
  • Обзор техник и инструментов для анализа производительности
  • Аппаратные средства для анализа производительности (счетчики и другие механизмы)
  • Способы оптимизации доступа к памяти и вычислений
  • Устранение промахов в кэше и неправильно предсказанных ветвлений
  • Оптимизация раскладки машинного кода
  • Векторизация и другие компиляторные оптимизации
Денис Бахвалов

Денис Бахвалов начал работу программистом в 2008 году и посвятил большую часть своей карьеры оптимизации взаимодействия между процессором и программным обеспечением. Работая в компании Intel, внедрил множество улучшений производительности в широко используемые промышленные приложения и бенчмарки. Является автором онлайн-курса «Performance Ninja» и ведет свой блог на сайте easyperf.net.

Книгу “Оптимизация производительности современных процессоров. 2-е изд.” можно купить в нашем интенет-магазине.

Предуведомление 9
От автора 11
Целевая аудитория 12
Об авторе 13
Глава 1. Введение 15
1.1. Почему программное обеспечение работает медленно? 16
1.2. Почему нужно уделять внимание производительности? 19
1.3. Что такое анализ производительности? 22
1.4. Что значит оптимизация производительности? 23
1.5. О чем рассказывается в этой книге? 24
1.6. О чем не рассказывается в этой книге? 26
1.7. Упражнения 27
Краткое содержание главы 28
ЧАСТЬ I. АНАЛИЗ ПРОИЗВОДИТЕЛЬНОСТИ
СОВРЕМЕННОГО ПРОЦЕССОРА 29
Глава 2. Анализ производительности 31
2.1. Воздействие помех на современные системы 32
2.2. Измерение производственной производительности 34
2.3. Непрерывное сравнительное тестирование 35
2.4. Ручное тестирование производительности 40
2.5. Программные и аппаратные таймеры 43
2.6. Микробенчмарки 45
2.7. Активное сравнительное тестирование 47
Вопросы и упражнения 48
Краткое содержание главы 48
Глава 3. Микроархитектура центрального процессора 51
3.1. Архитектура набора команд 51
3.2. Конвейерная обработка 52
3.3. Использование параллельного выполнения задач на уровне инструкций (ILP) 56
3.3.1. Внеочередное выполнение 56
3.3.1.1. Статическое планирование 57
3.3.1.2. Динамическое планирование 57
3.3.2. Суперскалярные процессоры 59
3.3.3. Спекулятивное исполнение 59
3.3.4. Прогнозирование ветвления 61
3.4. Мультипроцессоры SIMD 63
3.5. Использование параллельных вычислений на уровне потоков 66
3.5.1. Многоядерные системы 66
3.5.2. Одновременная многопоточная обработка 67
3.5.3. Гибридные конструкции 69
3.6. Иерархия памяти 71
3.6.1. Иерархия кеша 71
3.6.1.1. Размещение данных в кеше 72
3.6.1.2. Поиск данных в кеше 73
3.6.1.3. Управление промахами 73
3.6.1.4. Управление записями 73
3.6.1.5. Другие технологии оптимизации кеша 74
3.6.1.6. Программно-аппаратная предварительная выборка 74
3.6.2. Основная память 75
3.6.2.1. Двойная скорость передачи данных DDR 76
3.6.2.2. GDDR и HBM 79
3.7. Виртуальная память 80
3.7.1. Буфер ассоциативной трансляции (TLB) 82
3.7.2. Большие страницы 83
3.8. Конструкция современных центральных процессоров 84
3.8.1. Фронтенд центрального процессора 84
3.8.2. Бэкенд центрального процессора 87
3.8.3. Блок загрузки и записи 89
3.8.4. Иерархия буфера ассоциативной трансляции 93
3.9. Блок мониторинга производительности 94
3.9.1. Счетчики мониторинга производительности 96
Вопросы и упражнения 97
Краткое содержание главы 98
Глоссарий к рисункам главы 3 99
Глава 4. Терминология и метрики в анализе производительности 103
4.1. Завершенная и выполненная инструкция 104
4.2. Загрузка центрального процессора 104
4.3. CPI и IPC 105
4.4. Микрооперации 107
4.5. Слот конвейера 109
4.6. Такты ядра и относительные такты ядра 110
4.7. Промахи в кеше 111
4.8. Неправильное предсказание ветвления 112
4.9. Метрики производительности 113
4.10. Задержка памяти и пропускная способность 115
4.11. Практический пример. Анализ метрик производительности
для четырех приложений 120
Вопросы и упражнения 126
Краткое содержание главы 127
Глоссарий к рисункам главы 4 127
Глава 5. Методы анализа производительности 129
5.1. Инструментация кода 130
5.2. Трассировка 135
5.3. Сбор событий контроля производительности 136
5.3.1. Мультиплексирование и пересчет событий 138
5.3.2. Использование API-маркеров 140
5.4. Выборочное профилирование 144
5.4.1. Выборка в режиме пользователя и на основе аппаратных событий 145
5.4.2. Поиск горячих точек 146
5.4.3. Сбор стеков вызова 149
5.5. Модель производительности Roofline 151
5.6. Статический анализ производительности 155
5.6.1. Практический пример. Использование UICA для оптимизации
пропускной способности FMA 156
5.7. Отчеты об оптимизации компилятора 161
Вопросы и упражнения 164
Краткое содержание главы 165
Глава 6. Средства процессора для анализа производительности 167
6.1. Нисходящий анализ микроархитектуры 169
6.1.1. TMA на платформах Intel 170
Практический пример. Сокращение числа промахов кеша с помощью TMA 172
6.1.2. TMA на платформах AMD 177
6.1.3. ТМА на платформах Arm 179
6.1.4. Итоги раздела ТМА 183
6.2. Механизмы записи ветвлений 184
6.2.1. LBR на платформе Intel 186
6.2.2. LBR на платформах AMD 189
6.2.3. BRBE на платформах Arm 189
6.2.4. Сбор стека вызовов 189
6.2.5. Выявление горячих ветвей 190
6.2.6. Анализ коэффициента ошибочного предсказания ветвей 191
6.2.7. Точный тайминг машинного кода 192
6.2.8. Оценка вероятности результата ветвления 195
6.2.9. Предоставление обратной связи компилятору 196
6.3. Средства аппаратной выборки 196
6.3.1. PEBS на платформах Intel 196
6.3.2. IBS на платформах AMD 198
6.3.3. SPE на платформе Arm 200
6.3.4. Точные события 201
6.3.5. Анализ обращений к памяти 202
Вопросы и упражнения 203
Краткое содержание главы 203
Глоссарий к рисункам главы 6 204
Глава 7. Обзор инструментов анализа производительности 205
7.1. Профилировщик Intel VTune 205
7.2. AMD uProf 210
7.3. Инструменты Xcode от Apple 213

7.4. Perf для Linux 216
7.5. Диаграмма «пламени» 218
7.6. Трассировка событий в Windows 219
7.7. Специализированные и гибридные профилировщики 221
7.8. Профилирование памяти 228
7.8.1. Использование памяти 228
7.8.2. Практический пример. Анализ выделений памяти в Stockfish 230
7.8.3. Интенсивность использования и объем памяти 233
7.9. Непрерывное профилирование 236
Вопросы и упражнения 240
Краткое содержание главы 240
ЧАСТЬ II. ТЮНИНГ ИСХОДНОГО КОДА 243
Глава 8. Оптимизация доступа к памяти 249
8.1. Структуры данных, дружелюбные для кеша 250
8.1.1. Последовательный доступ к данным 250
8.1.2. Использование подходящих контейнеров 252
8.1.3. Упаковка данных 252
8.1.4. Упорядочивание полей 253
8.1.5. Другие методы реорганизации структуры данных 254
8.2. Динамическое распределение памяти 256
8.3. Устранение ограничений пропускной способности памяти 257
8.4. Уменьшение количества пропусков DTLB 259
8.4.1. Явные большие страницы 260
8.4.2. Прозрачные большие страницы 261
8.4.3. Явные и прозрачные большие страницы 263
8.5. Явная предварительная выборка памяти 264
Вопросы и упражнения 268
Краткое содержание главы 269
Глава 9. Оптимизация вычислений 271
9.1. Зависимость данных 272
9.2. Встраивание функций 278
9.2.1. Оптимизация хвостовых вызовов 280
9.3. Оптимизация циклов 281
9.3.1. Низкоуровневые оптимизации 282
9.3.2. Оптимизация высокого уровня 284
9.3.3. Поиск возможностей оптимизации циклов 287
9.4. Векторизация 288
9.4.1. Автовекторизация компилятора 289
9.4.2. Поиск возможностей векторизации 290
9.4.2.1. Векторизация недопустима 291
9.4.2.2. Векторизация неэффективна 293
9.4.2.3. Векторизованный цикл с использованием скалярной версии 294
9.4.2.4. Неоптимальная векторизация цикла 295
9.4.2.5. Языки с явной векторизацией 296
9.5. Встроенные функции компилятора 297
9.5.1. Библиотеки-обертки для внутренних функций 299
Вопросы и упражнения 301
Краткое содержание главы 302
Глава 10. Оптимизация предсказания ветвлений 303
10.1. Замена ветвлений таблицами поиска 305
10.2. Замена ветвлений арифметическими действиями 306
10.3. Замена ветвлений на условный выбор 306
10.4. Одно ветвление — несколько тестов 309
Вопросы и упражнения 311
Краткое содержание главы 312
Глава 11. Оптимизация компоновки машинного кода 313
11.1. Компоновка машинного кода 314
11.2. Базовый блок 314
11.3. Размещение базовых блоков 315
11.4. Выравнивание базовых блоков 317
11.5. Разделение функций 320
11.6. Упорядочивание функций 321
11.7. Оптимизации, управляемые профилем 323
11.8. Уменьшение промахов ITLB 326
11.9. Практический пример. Измерение размера горячего кода 328
Вопросы и упражнения 332
Краткое содержание главы 332
Глава 12. Дополнительные возможности для оптимизации 333
12.1. Оптимизация под конкретный процессор 333
12.1.1. Расширения ISA 335
12.1.2. Диспетчеризация процессоров 336
12.1.3. Задержки и пропускная способность инструкций 337
12.2. Специфические проблемы микроархитектур 340
12.2.1. Нарушения порядка операций с памятью 340
12.2.2. Невыровненный доступ к памяти 342
12.2.3. Конкуренция двух разных адресов за одну строку кеша 345
12.2.4. Замедленная арифметика со значениями с плавающей запятой 347
12.3. Методы оптимизции низкой задержки 349
12.3.1. Избегайте незначительных ошибок страниц 350
12.3.2. Разогрев кеша 352
12.3.3. Избегайте прерываний TLB 353
12.3.4. Предотвращение непреднамеренного троттлинга ядра 355
12.4. Настройка системы 355
12.5. Практический пример. Чувствительность к размеру кеша последнего уровня 357
Вопросы и упражнения 362
Краткое содержание главы 362
Глоссарий к рисункам главы 12 363
Глава 13. Оптимизация многопоточных приложений 365
13.1. Показатели эффективности работы в параллельном режиме 366
13.2. Масштабирование производительности в многопоточных программах 368
13.2.1. Пример анализа масштабирования при изменении числа потоков 370
Blender 372
Clang 373
Zstandard 375
CloverLeaf 378
CPython 380
Резюме 382
13.3. Планирование задач 383
13.4. Согласованность кеша 386
13.4.1. Протоколы согласования кеша 386
13.4.2. Истинное совместное использование 388
13.4.3. Ложное совместное использование 389
13.5. Инструменты расширенного анализа 391
13.5.1. Coz 391
13.5.2 eBPF и GAPP 392
Вопросы и упражнения 393
Краткое содержание главы 394
Эпилог 395
Благодарности 399
Глоссарий 403
Список основных микроархитектур процессоров 405
Ссылки 407
Приложение A. Уменьшение шумов при измерениях 411
Динамическое масштабирование частоты 411
Одновременная многопоточность 412
Изменение частоты 413
Привязка к ядру процессора 413
Приоритет процесса 414
Приложение B. Включение больших страниц 415
Windows 415
Linux 416
Явные большие страницы 416
Прозрачные большие страницы 417
Приложение C. Трассировка процессоров Intel 419
Процесс работы 419
Временные пакеты 421
Сбор и декодирование трасс 421
Дисковое пространство и время декодирования 423
Инструменты 424
Intel PT: ссылки и упоминания 424
Приложение D. Анализ трассировки для Windows 425
Инструменты для записи трасс ETW 425
Инструменты для просмотра и анализа трасс ETW 426
Практический пример — медленный старт программы 426
Установка 426
Захват трассы 427
Анализ в WPA 428