Метка: ИИ

Опубликовано

Встречайте: “Прикладные API для искусственного интеллекта и Data Science”

Прикладные API для искусственного интеллекта и Data Science

Книга рассказывает о проектировании API для обработки данных и взаимодействия с большими языковыми моделями. Рассматривается работа с языком Python и его фреймворками FastAPI, Streamlit и LangChain. Рассматривается интеграция API в имеющиеся рабочие процессы, типичные для обработки данных, вывод приложения в облако, подбор интерфейсов для обслуживания различных задач, применение больших языковых моделей класса GPT для оптимизации и ускорения проектирования API.

 

Для специалистов по проектированию API, науке о данных и машинному обучению

Навыки создания API незаменимы при работе с искусственным интеллектом и в науке о данных (Data Science). Умение проектировать и поддерживать API для искусственного интеллекта понадобится как новичкам, так и опытным профессионалам. Эта практическая книга поможет вам на собственном опыте освоить разработку и поддержку API на Python с применением популярных фреймворков этого языка —  FastAPI, LangChain и Streamlit .

Книга делится на три части и рассказывает, как разрабатывать API с нуля, интегрировать их в рабочие процессы, типичные для обработки данных, научиться использовать такие инструменты как ChatGPT и LangChain, чтобы взаимодействовать с API при помощи больших языковых моделей (LLM). Проработав книгу, вы приобретете портфолио готовых проектов с качественными API, которые в самом выгодном свете продемонстрируют ваше мастерство в работе с ИИ, машинным обучением и наукой о данных.

  • Научитесь проектировать API для различных приложений из области data science
  • Откройте для себя, как собирать и развертывать API при помощи Python и FastAPI
  • Изучите, как интегрировать API в рабочие процессы, связанные с обработкой данных, применять API для доступа к данным и их визуализации
  • Тренируйте модели машинного обучения, а затем развертывайте их в виде API
  • Освойте эффективное взаимодействие с API при помощи искусственного интеллекта и больших языковых моделей

Эта книга — потрясающая новинка для всего сообщества исследователей данных. Порадуйте себя — добавьте эту книгу в свою профессиональную библиотеку, чтобы расти, совершенствоваться и становиться всё более эффективным специалистом по data science!

 

Алекс Гутман, автор книги «Becoming a Data Head: How to Think, Speak, and Understand Data Science, Statistics, and Machine Learning»

Интерфейсы API становятся всё более важной составляющей в области искусственного интеллекта и исследования данных, и эта книга — ценнейший ресурс, позволяющий рассмотреть их с практической точки зрения.

 

Джеймс Гоф, заслуженный инженер в компании Morgan Stanley, автор книги «Проектирование архитектуры API»

 

rayan day

Райан Дэй — высокопрофессиональный исследователь данных, работающий в компании CSBS и участвующий в разработке свободного ПО. Один из разработчиков фреймворка FastAPI, обладает опытом облачных вычислений и разработки API в государственном секторе.

Книгу “Прикладные API для искусственного интеллекта и Data Science” можно купить в нашем интенет-магазине.

Отзывы о книге……………………………………………………………………………………… 15

Предисловие…………………………………………………………………………………………… 17

Зачем вам читать эту книгу?…………………………………………………………………………………………………….. 17

Для кого эта книга……………………………………………………………………………………………………………………… 17

Для специалистов по работе с данными………………………………………………………………………. 17

Для разработчиков и проектировщиков API………………………………………………………………… 18

Для ищущих работу и желающих сменить свою роль………………………………………………… 18

Создание портфолио-проектов…………………………………………………………………………………………………. 18

Как пользоваться данной книгой……………………………………………………………………………………………… 19

Чем не является данная книга…………………………………………………………………………………………………… 19

Почему именно фэнтези-футбол?……………………………………………………………………………………………… 20

Получение дополнительных советов по API, искусственному интеллекту и науке о работе с данными          20

Соглашения, принятые в данной книге……………………………………………………………………………………. 21

Использование примеров кода…………………………………………………………………………………………………. 21

Платформа онлайн-обучения O’Reilly……………………………………………………………………………………… 22

Контактная информация…………………………………………………………………………………………………………… 22

Благодарности…………………………………………………………………………………………………………………………… 23

Часть I. Разработка API для задач Data Science…………………… 25

Глава 1. Создание API, которые понравятся специалистам по обработке данных            27

Для чего специалисты по обработке данных используют API-интерфейсы?………………………. 27

Какие инструменты используют специалисты по обработке данных?………………………………… 28

Проектирование API для специалистов по обработке данных……………………………………………… 29

Предоставление первой части вашего портфолио-проекта…………………………………………………… 30

У каждого API есть своя история……………………………………………………………………………………………… 31

Знакомьтесь с вашей компанией: SportsWorldCentral…………………………………………………. 31

SWC нуждается в API…………………………………………………………………………………………………….. 33

Выбор первых API-продуктов………………………………………………………………………………………………….. 34

Выявление потенциальных пользователей………………………………………………………………….. 34

Создание пользовательских историй……………………………………………………………………………. 36

Дополнительные источники информации……………………………………………………………………………….. 37

Резюме…………………………………………………………………………………………………………………………………………. 37

Глава 2. Выбор архитектуры, подходящей для API………………………………… 39

Архитектурные стили API…………………………………………………………………………………………………………. 39

Обмен репрезентациями ресурсов (Representational State Transfer, REST)……………….. 40

Язык графических запросов Graph Query Language (GraphQL)………………………………….. 40

gRPC…………………………………………………………………………………………………………………………………. 41

Ваш выбор: REST…………………………………………………………………………………………………………… 41

Технологическая архитектура…………………………………………………………………………………………………. 43

Программные средства, используемые в данной главе………………………………………………………….. 45

Python………………………………………………………………………………………………………………………………. 45

GitHub………………………………………………………………………………………………………………………………. 45

Начало работы с GitHub Codespace………………………………………………………………………………………… 46

Создание учетной записи в GitHub……………………………………………………………………………….. 46

Клонирование репозитория части первой……………………………………………………………………. 46

Запуск вашей среды GitHub Codespace………………………………………………………………………… 47

Знакомство с новым кодовым пространством……………………………………………………………… 47

Совершение вашего первого коммита………………………………………………………………………….. 49

Дополнительные источники информации……………………………………………………………………………….. 52

Резюме…………………………………………………………………………………………………………………………………………. 52

Глава 3. Создание базы данных…………………………………………………………….. 53

Компоненты API………………………………………………………………………………………………………………………… 53

Программные средства, используемые в данной главе………………………………………………………….. 54

SQLite……………………………………………………………………………………………………………………………….. 54

SQLAlchemy…………………………………………………………………………………………………………………….. 54

pytest………………………………………………………………………………………………………………………………… 55

Создание базы данных SQLite………………………………………………………………………………………………….. 55

Создание таблиц базы данных……………………………………………………………………………………… 56

Принципы формирования таблиц…………………………………………………………………………………. 58

Загрузка данных…………………………………………………………………………………………………………….. 59

Доступ к данным из Python……………………………………………………………………………………………………….. 61

Установка SQLAlchemy в вашу среду………………………………………………………………………….. 61

Создание Python-файлов для доступа к базе данных…………………………………………………. 62

Создание файла конфигурации базы данных……………………………………………………………… 67

Создание вспомогательных функций SQLAlchemy…………………………………………………….. 68

Установка pytest в вашу среду………………………………………………………………………………………. 72

Тестирование нашего кода SQLAchemy………………………………………………………………………. 73

Дополнительные источники информации……………………………………………………………………………….. 76

Резюме…………………………………………………………………………………………………………………………………………. 76

Глава 4. Разработка кода FastAPI………………………………………………………….. 79

Продолжение разработки портфолио-проекта……………………………………………………………………….. 79

Программные средства, используемые в данной главе………………………………………………………….. 80

FastAPI…………………………………………………………………………………………………………………………….. 80

HTTPX……………………………………………………………………………………………………………………………… 81

Pydantic……………………………………………………………………………………………………………………………. 81

Uvicorn……………………………………………………………………………………………………………………………… 82

Копирование файлов из каталога третьей главы……………………………………………………………………. 82

Установка в кодовое пространство новых библиотек……………………………………………………………. 82

Создание файлов на языке Python для нашего API………………………………………………………………… 83

Создание Pydantic-схем…………………………………………………………………………………………………. 83

Создание контроллера FastAPI…………………………………………………………………………………….. 87

Тестирование API………………………………………………………………………………………………………………………. 94

Запуск API………………………………………………………………………………………………………………………………….. 97

Дополнительные источники информации……………………………………………………………………………….. 99

Резюме………………………………………………………………………………………………………………………………………. 100

Глава 5. Документирование API…………………………………………………………… 101

Документация как сигнал доверия…………………………………………………………………………………………. 101

Создание высококачественной API-документации………………………………………………………………. 102

Основные функции……………………………………………………………………………………………………….. 102

Дополнительные функции……………………………………………………………………………………………. 103

Просмотр примеров документации по API……………………………………………………………………………. 104

Приложение Sleeper………………………………………………………………………………………………………. 104

MyFantasyLeague…………………………………………………………………………………………………………. 105

Yahoo! Фэнтези-футбол……………………………………………………………………………………………….. 105

Просмотр встроенной документации вашего API………………………………………………………………… 107

Копирование файлов из каталога четвертой главы………………………………………………….. 107

Вариант документации 1: Swagger UI………………………………………………………………………… 108

Вариант документации 2: Redoc………………………………………………………………………………… 113

Работа с файлом спецификации OpenAPI……………………………………………………………………………… 114

Продолжение разработки портфолио-проекта…………………………………………………………………….. 117

Добавление сведений к OAS-объекту info………………………………………………………………….. 118

Добавление тегов для классификации путей……………………………………………………………… 119

Добавление дополнительных сведений к конкретным конечным точкам………………. 120

Добавление описаний параметров……………………………………………………………………………… 121

Просмотр изменений в Swagger UI………………………………………………………………………………. 121

Регрессионное тестирование API………………………………………………………………………………… 123

Обновление файла README.md……………………………………………………………………………………………. 123

Дополнительные источники информации……………………………………………………………………………… 125

Резюме………………………………………………………………………………………………………………………………………. 126

Глава 6. Развертывание API в облаке…………………………………………………… 127

Преимущества и обязательства при развертывании API в облаке……………………………………… 127

Преимущества………………………………………………………………………………………………………………. 127

Обязательства……………………………………………………………………………………………………………….. 128

Выбор облачного хостинга для вашего проекта………………………………………………………………….. 129

Настройка каталога проекта………………………………………………………………………………………………….. 130

Использование GitHub Codespaces в качестве облачного хостинга…………………………………… 130

Развертывание в Render…………………………………………………………………………………………………………… 131

Регистрация на Render…………………………………………………………………………………………………. 132

Создание нового веб-сервиса………………………………………………………………………………………. 132

Автоматическое развертывание изменений в API……………………………………………………… 134

Упаковка приложения в контейнер Docker……………………………………………………………………………. 134

Проверка установки Docker…………………………………………………………………………………………. 135

Создание Dockerfile………………………………………………………………………………………………………. 135

Создание файла .dockerignore……………………………………………………………………………………… 137

Сборка образа контейнера………………………………………………………………………………………….. 137

Локальный запуск образа контейнера……………………………………………………………………….. 138

Развертывание в AWS……………………………………………………………………………………………………………… 139

Создание контейнерного Lightsail-сервиса………………………………………………………………… 139

Установка AWS CLI……………………………………………………………………………………………………… 140

Установка плагина Amazon Lightsail для работы с контейнерными сервисами…….. 140

Настройка параметров входа……………………………………………………………………………………… 140

Отправка нашего образа контейнера в Lightsail………………………………………………………… 141

Создание Lightsail-развертывания………………………………………………………………………………. 142

Обновление API-документации………………………………………………………………………………………………. 144

Дополнительные источники информации……………………………………………………………………………… 145

Резюме………………………………………………………………………………………………………………………………………. 145

Глава 7. Все включено: разработка Python SDK……………………………………. 147

SDK устраняют разрыв……………………………………………………………………………………………………………. 148

Выбор языка программирования для вашего SDK……………………………………………………………….. 151

Начнем с SDK с минимальным функционалом……………………………………………………………………… 152

Совет эксперта: упростите установку SDK……………………………………………………………….. 152

Совет эксперта: придайте SDK последовательность и идиоматичность………………… 153

Создание полнофункционального SDK…………………………………………………………………………………. 156

Совет эксперта: используйте разумные значения по умолчанию…………………………… 156

Совет эксперта: предоставьте полноценную функциональность……………………………. 159

Совет эксперта: ведите журнал событий…………………………………………………………………… 164

Совет эксперта: скрывайте сложности API……………………………………………………………….. 166

Совет эксперта: предоставляйте возможности bulk-загрузок………………………………….. 168

Совет эксперта: документируйте SDK……………………………………………………………………….. 171

Тестирование SDK………………………………………………………………………………………………………… 173

Совет эксперта: поддерживайте все задачи, реализуемые API……………………………….. 177

Завершение первой части нашего портфолио-проекта……………………………………………………….. 178

Дополнительные источники информации……………………………………………………………………………… 180

Резюме………………………………………………………………………………………………………………………………………. 180

Часть II. Использование API в проекте
по анализу данных……………………………………………………………………… 181

Глава 8. Что специалистам по анализу данных нужно знать об API…….. 183

Использование различных стилей API………………………………………………………………………………….. 183

Основы HTTP……………………………………………………………………………………………………………………………. 185

Как использовать API со всей ответственностью…………………………………………………………………. 187

Разделение ответственности: использование SDK или создание собственных клиентов для API        188

Как создаются API…………………………………………………………………………………………………………………… 190

Как тестируются API……………………………………………………………………………………………………………….. 190

Развертывание и контейнеризация API………………………………………………………………………………….. 191

Использование системы контроля версий……………………………………………………………………………… 191

Представление второй части портфолио-проекта……………………………………………………………….. 192

Приступаем к работе с GitHub Codespace…………………………………………………………………………….. 192

Клонирование репозитория части II………………………………………………………………………….. 192

Запуск вашей среды GitHub Codespace……………………………………………………………………… 193

Локальный запуск API SportsWorldCentral (SWC)………………………………………………………………… 194

Дополнительные источники информации……………………………………………………………………………… 196

Резюме………………………………………………………………………………………………………………………………………. 196

Глава 9. Использование API для аналитики данных……………………………. 197

Пользовательские метрики для спортивной аналитики……………………………………………………….. 197

Использование API в качестве источников данных для пользовательских метрик в фэнтези-аналитике          198

Создание пользовательской метрики: оценка Shark League (Лиги акул)…………………………… 199

Программные средства, используемые в данной главе……………………………………………………….. 200

httpx……………………………………………………………………………………………………………………………….. 200

Jupyter Notebooks………………………………………………………………………………………………………….. 201

pandas……………………………………………………………………………………………………………………………. 201

Установка новых библиотек в ваше кодовое пространство………………………………………………… 202

Запуск вашего API в кодовом пространстве…………………………………………………………………………. 202

Создание файла API-клиента…………………………………………………………………………………………………. 202

Создание блокнота Jupyter Notebook…………………………………………………………………………………….. 204

Добавление к блокноту общей конфигурации………………………………………………………………………. 205

Работа с данными вашего API………………………………………………………………………………………………… 207

Вычисление League Balance Score…………………………………………………………………………………………. 209

Вычисление League Juice Score………………………………………………………………………………………………. 211

Создание Shark League Score………………………………………………………………………………………………….. 212

Дополнительные источники информации……………………………………………………………………………… 213

Резюме………………………………………………………………………………………………………………………………………. 213

Глава 10. Использование API в конвейерах данных…………………………….. 215

Типы источников для конвейеров обработки данных………………………………………………………….. 215

Проектирование конвейера данных………………………………………………………………………………………. 216

Оркестрация конвейера данных с помощью Apache Airflow……………………………………………….. 217

Установка Apache Airflow в GitHub Codespaces……………………………………………………………………. 218

Создание локальной аналитической базы данных………………………………………………………………. 222

Запуск API в кодовом пространстве………………………………………………………………………………………. 222

Настройка Airflow-подключений……………………………………………………………………………………………. 222

Создание нашего первого DAG………………………………………………………………………………………………. 223

Создание совместно используемой функции………………………………………………………………………… 226

Запуск DAG………………………………………………………………………………………………………………………………. 228

Резюме………………………………………………………………………………………………………………………………………. 230

Глава 11. Обработка данных в приложениях Streamlit…………………………. 231

Привлечение пользователей с помощью интерактивной визуализации…………………………….. 231

Программные средства, используемые в данной главе……………………………………………………….. 232

nfl_data_py……………………………………………………………………………………………………………………. 232

Streamlit…………………………………………………………………………………………………………………………. 233

Установка Streamlit и nfl_data_py………………………………………………………………………………………….. 233

Запуск вашего API в кодовом пространстве…………………………………………………………………………. 233

Повторное использование файла API-клиента из главы 9…………………………………………………… 234

Создание Streamlit-приложения……………………………………………………………………………………………… 234

Обновление главного файла…………………………………………………………………………………………………… 234

Запуск Streamlit-приложения………………………………………………………………………………………………….. 235

Создание страницы с составами команд………………………………………………………………………………. 236

Создание страницы статистики команды……………………………………………………………………………… 239

Развертывание Streamlit-приложения…………………………………………………………………………………….. 242

Завершение второй части портфолио-проекта…………………………………………………………………….. 243

Дополнительные источники информации……………………………………………………………………………… 244

Резюме………………………………………………………………………………………………………………………………………. 245

Часть III. Использование API
с искусственным интеллектом……………………………………………. 247

Глава 12. Взаимосвязь API и искусственного интеллекта…………………….. 249

Точки пересечения ИИ и API…………………………………………………………………………………………………… 249

Проектирование API-интерфейсов для использования с генеративным ИИ
и большими языковыми моделями………………………………………………………………………………………….. 250

Определение искусственного интеллекта……………………………………………………………………………… 253

Генеративный ИИ и большие языковые модели……………………………………………………………………. 253

Создание агентных ИИ-приложений……………………………………………………………………………………… 254

Представление третьей части портфолио-проекта………………………………………………………………. 255

Запуск вашей среды GitHub Codespace…………………………………………………………………………………. 255

Клонирование репозитория части третьей………………………………………………………………… 255

Запуск вашей среды GitHub Codespace……………………………………………………………………… 256

Дополнительные источники информации……………………………………………………………………………… 257

Резюме………………………………………………………………………………………………………………………………………. 257

Глава 13. Развертывание API машинного обучения…………………………….. 259

Обучение моделей машинного обучения………………………………………………………………………………. 260

Программные средства, используемые в данной главе……………………………………………………….. 261

ONNX Runtime………………………………………………………………………………………………………………. 261

scikit-learn………………………………………………………………………………………………………………………. 262

sklearn-onnx…………………………………………………………………………………………………………………… 262

Установка в кодовое пространство новых библиотек…………………………………………………………. 262

Использование процесса CRISP-DM……………………………………………………………………………………… 263

Осмысление бизнес-задачи…………………………………………………………………………………………………….. 263

Анализ данных…………………………………………………………………………………………………………………………. 264

Подготовка данных…………………………………………………………………………………………………………………. 266

Моделирование……………………………………………………………………………………………………………………….. 266

Оценка………………………………………………………………………………………………………………………………………. 269

Развертывание………………………………………………………………………………………………………………………….. 269

Дополнительные источники информации……………………………………………………………………………… 277

Резюме………………………………………………………………………………………………………………………………………. 278

Глава 14. Использование API с LangChain……………………………………………. 279

Вызов искусственного интеллекта с использованием API (посредством LangChain)……….. 280

Создание LangGraph-агента…………………………………………………………………………………………………… 281

Регистрация в Anthropic……………………………………………………………………………………………….. 282

Запуск вашего кодового пространства GitHub………………………………………………………….. 283

Установка в кодовое пространство новых библиотек…………………………………………………………. 283

Создание блокнота Jupyter Notebook…………………………………………………………………………………….. 284

Общение с LangGraph-агентом……………………………………………………………………………………………….. 287

Локальный запуск API SportsWorldCentral (SWC)………………………………………………………………… 288

Установка Software Development Kit (SDK) swcpy………………………………………………………………… 289

Создание набора инструментов LangChain………………………………………………………………………….. 289

Вызов API-интерфейсов с использованием ИИ (с применением LangGraph)……………………… 293

Общение с агентом (с использованием инструментов)………………………………………………………… 295

Дополнительные источники информации……………………………………………………………………………… 297

Резюме………………………………………………………………………………………………………………………………………. 297

Глава 15. Использование ChatGPT для вызова вашего API………………….. 299

Архитектура вашего приложения………………………………………………………………………………………….. 299

Начало работы с ChatGPT……………………………………………………………………………………………………… 300

Создание специализированной GPT………………………………………………………………………………………. 300

Запуск вашего кодового пространства GitHub…………………………………………………………………….. 303

Запуск SportsWorldCentral (SWC) API в кодовом пространстве GitHub……………………………… 304

Добавление в ваш OAS-файл раздела Servers……………………………………………………………………….. 305

Создание GPT-действия…………………………………………………………………………………………………………… 306

Тестирование API в вашем GPT……………………………………………………………………………………………… 308

Общение с вашим специализированным GPT……………………………………………………………………….. 309

Завершение третьей части вашего портфолио-проекта………………………………………………………. 311

Резюме………………………………………………………………………………………………………………………………………. 313

Предметный указатель…………………………………………………………………………. 315

Об авторе……………………………………………………………………………………………… 317

Об изображении на обложке………………………………………………………………… 319

Опубликовано

Новинка: “Языковые модели без лишних слов”

Языковые модели без лишних слов

Книга представляет собой лаконичное и в то же время исчерпывающее руководство по построению языковых моделей. Рассматриваются математические основы машинного обучения, векторные представления и работа нейронных сетей. Изложены принципы моделирования языка: от мешков слов и эмбеддингов до рекуррентных сетей и архитектуры трансформеров. Приводятся полные реализации  описанных моделей и методов на Python с использованием фреймворка PyTorch, включая примеры в виде Jupyter-блокнотов. Описаны методы обучения, тонкой настройки и оптимизации больших языковых моделей: LoRA, инженерия промптов, оценка качества, а также вопросы авторского права и этики. В заключительной главе даны направления для дальнейшего изучения: смесь экспертов, сжатие моделей, выравнивание на основе предпочтений, мультимодальные модели.

Для разработчиков и специалистов по языковым моделям

Эта книга развеяла для меня множество концептуальных неясностей в том, как на самом деле работает машинное обучение — она кристально ясная. Разобранные примеры и приложения в виде блокнотов Jupyter дали мне надежную отправную точку для дальнейших экспериментов. Даже если вы не планируете строить карьеру в области прикладного машинного обучения, эта книга станет прочным фундаментом для осмысления возможностей этих уникальных новых инструментов.
Винт Серф (Vint Cerf)— «отец Интернета», создатель протокола TCP/IP, лауреат премии Тьюринга, вице-президент Google.

Ключевые особенности книги:

  • Математические основы с понятными объяснениями
  • Полные реализации на Python с использованием PyTorch ( код доступен на GitHub)
  • Естественное продвижение от простых моделей к трансформерам
  • Практические блокноты Jupyter для каждой темы
  • Теория, иллюстрации и код в каждой главе

Книгу “Языковые модели без лишних слов” можно купить в нашем интенет-магазине.

Опубликовано

Бестселлер! Большие языковые модели на практике: Понимание языка и генерация текстов

Книга посвящена практическому использованию современных языковых моделей и методам работы с текстовыми данными. Рассматриваются ключевые принципы, лежащие в основе архитектуры трансформеров, а также способы применения предобученных моделей для генерации текста, аннотирования, классификации и семантического поиска. Подробно разобраны техники построения поисковых систем на базе векторных представлений, методы переранжирования, подходы к анализу и кластеризации документов, а также принципы использования генеративных моделей — от приемов работы с запросами до решений с дополненной выборкой (RAG). Особое внимание уделено практическим рекомендациям по созданию эффективных конвейеров LLM и оптимизации моделей под конкретные задачи с помощью современных методов обучения.

Для специалистов по ИИ, инженеров по данным, разработчиков, технических руководителей

В последние годы искусственный интеллект сделал заметный рывок в развитии языковых возможностей. Быстрый прогресс в области глубокого обучения привел к появлению моделей, которые умеют писать и понимать текст значительно лучше, чем прежде. Эти достижения уже позволяют создавать новые функции, продукты и даже целые отрасли. Благодаря наглядной подаче материала книга поможет читателю освоить практические инструменты и концепции, необходимые для использования таких технологий сегодня.

Из книги вы узнаете:

  • как применять предобученные большие языковые модели для задач копирайтинга и аннотирования;
  • как строить системы семантического поиска, выходящие за рамки простого сопоставления ключевых слов;
  • как использовать существующие библиотеки и модели для классификации, поиска и кластеризации текстов.

Книга объясняет:

  • как устроены трансформерные языковые модели, обеспечивающие высокое качество генерации и представления текста;
  • как создавать продвинутые конвейеры на базе больших языковых моделей (LLM) для кластеризации документов и исследования их тематического содержания;
  • как применять такие методы, как векторный поиск и переранжирование, чтобы строить семантические поисковые системы, не ограниченные поиском по ключевым словам;
  • как использовать генеративные модели — от техники составления запросов (промпт-инжиниринг) до генерации с дополненной выборкой (RAG);
  • как глубже разобраться с методами обучения LLM и способами их оптимизации для конкретных задач, используя дообучение генеративных моделей, сравнительное дообучение и контекстное обучение.

Понимание языка и генерация текстов

В своей книге Джей и Маартен продолжают традиции увлекательного, красочного и доходчивого объяснения самых сложных вопросов. Это незаменимое пособие для тех, кто хочет изучить основные способы создания больших языковых моделей
Эндрю Ын, основатель DeepLearning.AI

Мне трудно представить более важную книгу, которую необходимо прочитать именно сейчас. Практически на каждой странице я находил что-то полезное для достижения успеха в эпоху языковых моделей
Джей Аламмар – исполнительный директор по инжинирингу в компании Cohere.

Книгу “Большие языковые модели на практике: Понимание языка и генерация текстов” можно купить в нашем интенет-магазине.

Опубликовано

Встречайте: Программируем на Python с использованием искусственного интеллекта

Программируем на Python с использованием искусственного интеллекта

Книга представляет собой практическое руководство по интеграции искусственного интеллекта в процесс разработки на Python. Рассматривается применение ИИ-ассистентов, включая ChatGPT и аналогичные языковые модели, для повышения эффективности на всех этапах жизненного цикла ПО: от сбора требований и проектирования до написания кода, тестирования, развертывания и мониторинга. На примере сквозного проекта (USB T-Shirt Launcher) и реальных сценариев шаг за шагом показано, как использовать ИИ для автоматизации рутинных задач, генерации чистого и безопасного кода, рефакторинга по принципам SOLID, написания тестов, настройки CI/CD и развертывания в облаке. Изложенная методология универсальна и позволяет применять описанные принципы с любым доступным ИИ-инструментом, превращая его в эффективного помощника для ускорения разработки и повышения качества кода.

Для Python-разработчиков

Прокачайте навыки с ИИ — десятикратно умножьте эффективность разработки

Эта книга — практическое руководство по интеграции ИИ (ChatGPT и аналогичных языковых моделей) в полный цикл разработки на Python.

На примере сквозного проекта «USB T-Shirt Launcher» рассматривается применение ИИ-ассистента на всех этапах жизненного цикла ПО (SDLC).

Книга ведет читателя от планирования (формулирование OKR и сбор требований) к проектированию архитектуры.

Далее рассматривается фаза разработки: генерация кода, рефакторинг по принципам SOLID, написание модульных и интеграционных тестов. Завершается цикл развертыванием и эксплуатацией — настройкой CI/CD-пайплайнов, облачным деплоем и мониторингом производительности с помощью Grafana Cloud.Читатель освоит не работу с одним инструментом, а универсальную методологию применения ИИ для устранения рутины — от генерации документации и сообщений для фиксаций кода до автоматической отладки и анализа кода на уязвимости.

Акцент делается на промт-инжиниринге, критической оценке ответов модели и бесшовной интеграции ИИ в ежедневный рабочий процесс для достижения максимальной скорости и качества разработки в реальных проектах.

КЛЮЧЕВЫЕ ОСОБЕННОСТИ КНИГИ

  • Сквозной практический проект: все методики применяются шаг за шагом к единому проекту — от идеи до работающего приложения
  • Фокус на полный SDLC: выход за рамки генерации кода к комплексному улучшению всего процесса разработки
  • Переносимые навыки: принципы промт-инжиниринга и интеграции ИИ не зависят от конкретной модели и остаются актуальными

ЧТО ВЫ ОСВОИТЕ

  • Практику промт-инжиниринга для сложных задач: от декомпозиции функциональных требований до написания сообщений к коммитам
  • Автоматизацию проектирования, написания чистого кода и рефакторинга с соблюдением SOLID
  • Создание тестов, проверку безопасности и настройку пайплайнов CI/CD с помощью ИИ
  • Стратегии облачного развертывания и настройку производительности с использованием ChatGPT
  • Критическую оценку ответов ИИ и его интеграцию в ежедневный рабочий процесс

Книгу “Программируем на Python с использованием искусственного интеллекта” можно купить в нашем интенет-магазине.

Опубликовано

Встречайте: Генеративный ИИ на практике: трансформеры и диффузионные модели

Генеративный ИИ на практике: трансформеры и диффузионные модели

Книга представляет собой исчерпывающее практическое руководство по современному генеративному искусственному интеллекту. Она последовательно проводит читателя от основ представления информации до передовых методов создания изображений, текста и аудио с помощью открытых моделей. Подробно разбираются ключевые архитектуры: трансформеры и автоэнкодеры, CLIP, диффузионные модели и Stable Diffusion. Существенная часть книги посвящена трансферному обучению, включая тонкую настройку языковых моделей и моделей для генерации изображений. Подробно описаны креативные приложения, генерация аудио и рассмотрены стремительно развивающиеся направления в этой области. Книга имеет ярко выраженную практическую направленность, содержит пошаговые инструкции, проекты для самостоятельной работы, упражнения и задачи для закрепления материала.
Для специалистов-практиков по генеративному ИИ

Трансформеры и диффузионные модели

Это практическое руководство научит вас применять методы генеративного искусственного интеллекта для создания текстов, изображений, аудио и даже музыки. Вы поймёте, как работают современные генеративные модели, как дообучать и адаптировать их под свои задачи, а также как комбинировать готовые компоненты для создания новых моделей и творческих приложений в различных областях.
Книга сочетает теоретические концепции с практическими примерами, содержит рабочие листинги и наглядные иллюстрации. Вы научитесь использовать библиотеки с открытым исходным кодом для работы с трансформерами и диффузионными моделями, исследовать код и анализировать готовые проекты

Вы узнаете, как

  • Создавайте и настраивайте модели для генерации текста и изображений.
  • Сравнивайте подходы: использование предобученной модели и дообучение собственной.
  • Создавайте и применяйте модели для генерации, редактирования и стилизации изображений.
  • Адаптируйте трансформеры и диффузионные модели для различных творческих задач.
  • Обучайте модели для отражения вашего уникального стиля.

Книгу “Генеративный ИИ на практике: трансформеры и диффузионные модели” можно купить в нашем интенет-магазине.

Отзывы о книге……………………………………………………………………………………… 11

Предисловие…………………………………………………………………………………………… 13

Для кого эта книга……………………………………………………………………………………………………………………… 13

Предварительная подготовка…………………………………………………………………………………………………… 14

Чему вы научитесь…………………………………………………………………………………………………………………….. 14

Как следует читать эту книгу…………………………………………………………………………………………………… 15

Требования к программному и аппаратному обеспечению………………………………………………….. 15

Условные обозначения, используемые в книге……………………………………………………………………….. 16

Использование примеров кода…………………………………………………………………………………………………. 17

Комплект цветных изображений………………………………………………………………………………………………. 17

Актуальность книги…………………………………………………………………………………………………………………… 17

Благодарности…………………………………………………………………………………………………………………………… 17

Часть I. Использование открытых моделей……………………….. 21

Глава 1. Введение в генеративные медиа……………………………………………….. 23

Генерация изображений……………………………………………………………………………………………………………. 24

Генерация текста……………………………………………………………………………………………………………………….. 26

Создание аудио………………………………………………………………………………………………………………………….. 28

Этические и социальные последствия……………………………………………………………………………………… 28

Где мы были раньше и как обстоят дела сейчас…………………………………………………………………….. 29

Как создаются генеративные ИИ-модели………………………………………………………………………………… 30

Заключение………………………………………………………………………………………………………………………………… 31

Глава 2. Трансформеры………………………………………………………………………….. 33

Языковая модель в действии…………………………………………………………………………………………………….. 34

Токенизация текста………………………………………………………………………………………………………… 34

Прогнозирование вероятностей…………………………………………………………………………………….. 37

Генерация текста……………………………………………………………………………………………………………. 40

Генерализация с нулевым выстрелом (Zero-shot)………………………………………………………… 49

Генерализация с несколькими выстрелами (Few-shot)………………………………………………… 51

Блок трансформера……………………………………………………………………………………………………………………. 53

Генеалогия модели-трансформера…………………………………………………………………………………………… 55

Задачи «последовательность-последовательность»…………………………………………………… 55

Модели, имеющие только энкодер……………………………………………………………………………….. 57

Сила предварительного обучения……………………………………………………………………………………………. 60

Краткий обзор трансформеров…………………………………………………………………………………………………. 63

Ограничения……………………………………………………………………………………………………………………. 65

Помимо текста………………………………………………………………………………………………………………… 66

Создание проекта: использование языковой модели для генерации текста………………………… 70

Заключение………………………………………………………………………………………………………………………………… 70

Вопросы……………………………………………………………………………………………………………………………………… 72

Практика…………………………………………………………………………………………………………………………………….. 72

Глава 3. Сжатие и представление информации………………………………………. 75

Автоэнкодеры…………………………………………………………………………………………………………………………….. 77

Подготовка данных………………………………………………………………………………………………………… 78

Энкодер……………………………………………………………………………………………………………………………. 80

Декодер……………………………………………………………………………………………………………………………. 83

Обучение…………………………………………………………………………………………………………………………. 84

Исследование латентного пространства……………………………………………………………………… 89

Визуализация латентного пространства……………………………………………………………………… 93

Вариационные автоэнкодеры…………………………………………………………………………………………………… 97

Энкодеры и декодеры VAE……………………………………………………………………………………………. 98

Выборка из распределения энкодера…………………………………………………………………………… 99

Обучение VAE………………………………………………………………………………………………………………. 102

Использование VAE для генеративного моделирования………………………………………….. 110

CLIP…………………………………………………………………………………………………………………………………………… 111

Контрастные потери…………………………………………………………………………………………………….. 111

Использование CLIP, шаг за шагом……………………………………………………………………………. 113

Классификация изображений с нулевым выстрелом с помощью CLIP…………………… 118

Конвейер классификации изображений с нулевым выстрелом……………………………….. 120

Варианты использования CLIP…………………………………………………………………………………… 121

Альтернативы CLIP…………………………………………………………………………………………………………………. 122

Время проекта: семантический поиск изображений…………………………………………………………….. 122

Заключение………………………………………………………………………………………………………………………………. 124

Вопросы……………………………………………………………………………………………………………………………………. 125

Задачи………………………………………………………………………………………………………………………………………. 126

Глава 4. Модели диффузии…………………………………………………………………… 127

Итеративное уточнение — ключ к пониманию моделей диффузии……………………………………. 128

Обучение моделей диффузии………………………………………………………………………………………………….. 131

Данные…………………………………………………………………………………………………………………………… 132

Добавление шума…………………………………………………………………………………………………………. 134

UNet……………………………………………………………………………………………………………………………….. 135

Обучение……………………………………………………………………………………………………………………….. 137

Выборка………………………………………………………………………………………………………………………… 139

Оценка……………………………………………………………………………………………………………………………. 140

Графики шума………………………………………………………………………………………………………………………….. 142

Зачем надо добавлять шум?………………………………………………………………………………………… 143

Начинаем с простого……………………………………………………………………………………………………. 144

Математика…………………………………………………………………………………………………………………… 146

Влияние входного разрешения и масштабирования…………………………………………………. 151

Подробный разбор: UNet и альтернативы…………………………………………………………………………….. 153

Простая модель UNet……………………………………………………………………………………………………. 154

Улучшение UNet…………………………………………………………………………………………………………… 157

Альтернативные архитектуры…………………………………………………………………………………….. 158

Подробный разбор: цели диффузии……………………………………………………………………………………….. 159

Время проекта: обучение собственной модели диффузии…………………………………………………… 161

Заключение………………………………………………………………………………………………………………………………. 162

Вопросы……………………………………………………………………………………………………………………………………. 162

Задачи………………………………………………………………………………………………………………………………………. 163

Глава 5. Stable Diffusion и обусловленная генерация…………………………….. 165

Добавление контроля: модели с условиями………………………………………………………………………….. 165

Подготовка данных………………………………………………………………………………………………………. 166

Создание модели, обусловленной классом……………………………………………………………….. 168

Обучение модели………………………………………………………………………………………………………….. 169

Выборка………………………………………………………………………………………………………………………… 171

Повышение эффективности: Latent Diffusion………………………………………………………………………… 174

Stable Diffusion: подробнее о компонентах…………………………………………………………………………… 175

Энкодер текста……………………………………………………………………………………………………………… 176

Вариационный автоэнкодер (VAE)…………………………………………………………………………….. 178

UNet……………………………………………………………………………………………………………………………….. 181

Stable Diffusion XL………………………………………………………………………………………………………… 183

FLUX, Stable Diffusion 3 и генерация видео……………………………………………………………….. 185

Руководство без классификаторов……………………………………………………………………………… 185

Собираем все вместе: аннотированный цикл выборки………………………………………………………… 187

Открытые данные, открытые модели…………………………………………………………………………………….. 190

Закат LAION-5B……………………………………………………………………………………………………………. 191

Альтернативы……………………………………………………………………………………………………………….. 192

Добросовестное и коммерческое использование………………………………………………………. 192

Время проекта: создание интерактивной демомодели с помощью Gradio…………………………. 193

Заключение………………………………………………………………………………………………………………………………. 194

Вопросы……………………………………………………………………………………………………………………………………. 195

Задачи………………………………………………………………………………………………………………………………………. 195

Часть II. Перенос обучения для генеративных моделей 197

Глава 6. Тонкая настройка языковых моделей…………………………………….. 199

Классификация текста…………………………………………………………………………………………………………….. 200

Определение набора данных………………………………………………………………………………………. 201

Определение типа модели……………………………………………………………………………………………. 202

Выбор хорошей базовой модели………………………………………………………………………………… 203

Предварительная обработка набора данных……………………………………………………………. 204

Определение оценочных метрик…………………………………………………………………………………. 206

Обучение модели………………………………………………………………………………………………………….. 208

Все еще актуально?……………………………………………………………………………………………………… 216

Генерация текста……………………………………………………………………………………………………………………… 217

Выбор правильной генеративной модели………………………………………………………………….. 217

Обучение генеративной модели………………………………………………………………………………….. 221

Инструкции………………………………………………………………………………………………………………………………. 225

Краткое введение в адаптеры…………………………………………………………………………………………………. 230

Краткое введение в квантование……………………………………………………………………………………………. 234

Собираем все вместе……………………………………………………………………………………………………………….. 237

Более глубокое погружение в оценку…………………………………………………………………………………….. 243

Время проекта: поисково-дополненная генерация………………………………………………………………. 246

Заключение………………………………………………………………………………………………………………………………. 247

Вопросы……………………………………………………………………………………………………………………………………. 249

Задачи………………………………………………………………………………………………………………………………………. 249

Глава 7. Тонкая настройка Stable Diffusion…………………………………………… 251

Тонкая настройка полной модели Stable Diffusion………………………………………………………………. 251

Подготовка набора данных…………………………………………………………………………………………. 252

Тонкая настройка модели……………………………………………………………………………………………. 254

Вывод модели……………………………………………………………………………………………………………….. 257

DreamBooth………………………………………………………………………………………………………………………………. 259

Подготовка набора данных…………………………………………………………………………………………. 261

Сохранение предыдущих знаний……………………………………………………………………………….. 261

Подготовка модели с помощью DreamBooth…………………………………………………………….. 262

Вывод…………………………………………………………………………………………………………………………….. 263

Обучение LoRA………………………………………………………………………………………………………………………… 264

Предоставление для Stable Diffusion новых возможностей…………………………………………………. 267

Inpainting……………………………………………………………………………………………………………………….. 267

Дополнительные входы для специальных обусловливаний……………………………………. 267

Время проекта: самостоятельное обучение модели SDXL с помощью DreamBooth и LoRA 268

Заключение………………………………………………………………………………………………………………………………. 269

Вопросы……………………………………………………………………………………………………………………………………. 270

Задачи………………………………………………………………………………………………………………………………………. 270

Часть III. Двигаемся дальше…………………………………………………….. 271

Глава 8. Творческое применение моделей text-to-image………………………… 273

Преобразование изображения в изображение………………………………………………………………………. 273

Inpainting…………………………………………………………………………………………………………………………………… 275

Взвешивание промптов и редактирование изображений…………………………………………………….. 277

Взвешивание и слияние промптов………………………………………………………………………………. 277

Редактирование диффузионных изображений с помощью Semantic Guidance………. 280

Редактирование реальных изображений с помощью инверсии………………………………………….. 283

Редактирование с помощью LEDITS++………………………………………………………………………. 284

Редактирование реальных изображений с помощью тонкой настройки через инструкции      286

ControlNet…………………………………………………………………………………………………………………………………. 288

Изображения в качестве промптов и вариации изображений……………………………………………… 291

Вариации изображений……………………………………………………………………………………………….. 291

Изображения в качестве промптов……………………………………………………………………………… 293

Перенос стиля……………………………………………………………………………………………………….. 293

Дополнительный контроль………………………………………………………………………………….. 295

Время проекта: ваш творческий холст………………………………………………………………………………….. 296

Заключение………………………………………………………………………………………………………………………………. 296

Вопросы……………………………………………………………………………………………………………………………………. 297

Глава 9. Генерация аудио…………………………………………………………………….. 299

Аудиоданные……………………………………………………………………………………………………………………………. 301

Осциллограмма…………………………………………………………………………………………………………….. 305

Спектрограммы…………………………………………………………………………………………………………….. 306

Преобразование речи в текст с использованием архитектур на основе трансформеров…. 314

Техники на основе энкодеров……………………………………………………………………………………… 315

Техники на основе энкодер-декодера…………………………………………………………………………. 319

От модели к конвейеру…………………………………………………………………………………………………. 323

Оценка……………………………………………………………………………………………………………………………. 325

Генерация аудио……………………………………………………………………………………………………………………… 331

Генерация звука с помощью моделей Sequence-to-Sequence……………………………………. 332

Выход за рамки генерации речи с помощью Bark…………………………………………………….. 337

AudioLM и MusicLM…………………………………………………………………………………………………….. 339

AudioGen и MusicGen……………………………………………………………………………………………………. 342

Audio Diffusion и Riffusion…………………………………………………………………………………………… 343

Dance Diffusion……………………………………………………………………………………………………………… 346

Подробнее о моделях диффузии для генерации звука………………………………………………. 347

Оценка систем генерации звука……………………………………………………………………………………………… 348

Что дальше?……………………………………………………………………………………………………………………………… 348

Время проекта: сквозная диалоговая система………………………………………………………………………. 349

Заключение………………………………………………………………………………………………………………………………. 350

Вопросы……………………………………………………………………………………………………………………………………. 352

Задачи………………………………………………………………………………………………………………………………………. 353

Глава 10. Быстро развивающиеся направления в области
генеративного ИИ………………………………………………………………………………… 355

Оптимизация предпочтений……………………………………………………………………………………………………. 355

Длинные контексты…………………………………………………………………………………………………………………. 357

Смесь экспертов……………………………………………………………………………………………………………………….. 360

Оптимизации и квантование…………………………………………………………………………………………………… 362

Данные……………………………………………………………………………………………………………………………………… 364

Одна модель, чтобы править всеми……………………………………………………………………………………….. 365

Компьютерное зрение……………………………………………………………………………………………………………… 365

Компьютерное зрение 3D………………………………………………………………………………………………………… 368

Генерация видео………………………………………………………………………………………………………………………. 369

Мультимодальность………………………………………………………………………………………………………………… 370

Сообщество………………………………………………………………………………………………………………………………. 373

Приложение A. Инструменты с открытым исходным кодом………………… 375

Стек Hugging Face…………………………………………………………………………………………………………………….. 375

Данные……………………………………………………………………………………………………………………………………… 376

Обертки…………………………………………………………………………………………………………………………………….. 377

Локальный вывод…………………………………………………………………………………………………………………….. 377

Инструменты развертывания………………………………………………………………………………………………….. 378

Приложение B. Требования к памяти для моделей LLM………………………. 379

Требования к памяти вывода………………………………………………………………………………………………….. 379

Требования к памяти для обучения……………………………………………………………………………………….. 380

Для дополнительного чтения………………………………………………………………………………………………….. 380

Приложение C. Сквозная генерация, дополненная поиском………………… 381

Обработка данных…………………………………………………………………………………………………………………… 381

Эмбеддинги документов………………………………………………………………………………………………………….. 383

Извлечение……………………………………………………………………………………………………………………………….. 384

Генерация…………………………………………………………………………………………………………………………………. 385

RAG на уровне производства…………………………………………………………………………………………………. 387

Предметный указатель…………………………………………………………………………. 389

Об авторах……………………………………………………………………………………………. 393

Об изображении на обложке………………………………………………………………… 395

Опубликовано

Встречайте: “Программирование с помощью искусственного интеллекта”

Программирование с помощью искусственного интеллекта

Книга посвящена практике использования инструментов искусственного интеллекта  для всех этапов создания кода: от разработки требований и планирования до проектирования, написания, отладки и тестирования. Предложена методология модульного программирования, которая эффективно сочетается с подходом генерации кода с применением ИИ. Рассмотрены  основные возможности и сценарии использования инструментов ИИ для разработки, оценены плюсы и минусы популярных систем. Показаны перспективы применения универсальных языковых моделей (LLM), таких как ChatGPT, Gemini, Claude и других, для решения задач программирования. Также рассмотрено применение широкого спектра специализированных систем (GitHub Copilot, Tabnine, Cursor, Amazon CodeWhisperer). Освещены вопросы инженерии промптов, автоматизации рутинных задач, таких как создание регулярных выражений, применения низкокодового и бескодового программирования и др.

Для широкого круга разработчиков

 

Примеры кода можно скачать тут: https://github.com/ttaulli/AI-Assisted-Programming-Book

Получите практические советы, как использовать инструменты искусственного интеллекта для всех этапов создания кода: от разработки требований и планирования до проектирования, написания, отладки и тестирования.  Начинающие и опытные разработчики узнают, как применять широкий спектр инструментов ИИ— от универсальных языковых моделей (ChatGPT, Gemini, Claude) до специализированных систем (GitHub Copilot, Tabnine, Cursor, Amazon CodeWhisperer).

Вы также познакомитесь с узкоспециализированными генеративными ИИ-инструментами для таких задач, как, например, преобразование текста в изображение.

Автор предлагает методологию модульного программирования, которая эффективно сочетается с подходом генерации кода с помощью ИИ. Также описаны лучшие способы использования универсальных языковых моделей для изучения языков программирования, объяснения кода или его преобразования с одного языка на другой.

В этой книге:

  • Основные возможности ИИ-инструментов для разработки
  • Плюсы, минусы и сценарии использования популярных систем, включая GitHub Copilot
  • Применение универсальных языковых моделей (LLM), таких как ChatGPT, Gemini, Claude и других, для решения задач программирования
  • Использование ИИ-инструментов в жизненном цикле разработки ПО: от разработки требований до тестирования
  • Инженерия промптов для разработки
  • Автоматизация рутинных задач, таких как создание регулярных выражений, с помощью ИИ
  • Низкокодовые и бескодовые инструменты на основе ИИ
Tom Taulli

Том Таулли занимается разработкой программного обеспечения с 1980-х годов. Еще в колледже основал свою первую компанию, которая сосредоточилась на разработке систем электронного обучения. Ведет авторские колонки для популярных онлайн-изданий, таких как BusinessWeek.com, TechWeb.com и Bloomberg.com. Автор статей об искусственном интеллекте для Forbes.com и является консультантом различных компаний в этой сфере. Ведет  веб-сайт Taulli.com.

Книгу “Программирование с помощью искусственного интеллекта” можно купить в нашем интенет-магазине.

Высокая оценка книги
«Программирование с помощью искусственного интеллекта». 9

Вступительное слово. 11

Предисловие. 13

О чем эта книга. 14

В чем отличие этой книги. 15

Для кого эта книга. 16

Условные обозначения, используемые в книге. 16

Примеры использования кода. 16

Онлайн-обучение O’Reilly. 17

Как с нами связаться. 17

Благодарности. 18

Глава 1. Новый мир для разработчиков. 19

Эволюция и революция. 20

Генеративный искусственный интеллект. 23

Преимущества. 24

Минимизация поиска. 24

Ваш консультант. 26

Интеграция с IDE.. 27

Рефлексия вашей кодовой базы.. 28

Целостность кода. 29

Генератор документации на платформе искусственного интеллекта. 30

Модернизация. 30

Недостатки. 34

Галлюцинации. 34

Интеллектуальная собственность. 35

Конфиденциальность. 36

Безопасность. 36

Данные для обучения. 37

Предвзятость. 38

Новый путь для разработчиков. 38

Карьера. 39

Разработчик 10x?. 40

Профессиональные навыки разработчика. 40

Заключение. 41

Глава 2. Как работает технология программирования с использованием искусственного интеллекта  43

Основные функции. 43

Подбор кода и завершение с учетом контекста в сопоставлении с интеллектуальным завершением кода  44

Компиляторы по сравнению с инструментами программирования на основе искусственного интеллекта  45

Уровни возможностей. 47

Генеративный искусственный интеллект и большие языковые модели (LLM) 49

Эволюция. 49

Модель трансформера. 51

OpenAI Playground. 54

Токены.. 55

Использование платформы.. 56

Оценка больших языковых моделей. 60

Типы больших языковых моделей. 63

Выбор ИИ-инструментов программирования. 66

Заключение. 67

Глава 3. Оперативное проектирование. 69

Наука и искусство. 70

Проблемы.. 70

Промпт. 71

Контекст. 72

Инструкции. 72

Суммаризация. 73

Классификация текста. 74

Рекомендации. 75

Локализация. 75

Ввод содержимого. 77

Формат. 77

Передовой опыт. 79

Будьте конкретны.. 79

Сокращения и технические термины.. 80

Техники обучения с примерами и без. 80

Ключевые слова. 81

Методика промптов по цепочке размышлений (CoT) 82

Наводящие вопросы.. 83

Промпт на примеры и аналогии. 83

Снижение галлюцинаций. 84

Безопасность и конфиденциальность. 85

Автономные агенты искусственного интеллекта. 86

Заключение. 89

Глава 4. Github Copilot 91

GitHub Copilot 91

Цены и версии. 92

Пример использования: программирование аппаратных средств. 93

Пример использования: Shopify. 94

Пример использования: Accenture. 96

Безопасность. 96

Приступая к работе. 97

Среда Codespaces и Visual Studio Code. 98

Рекомендации. 99

Комментарии. 102

Чат. 102

Внутренний чат. 107

Открытые вкладки. 108

Интерфейс командной строки. 109

Партнерская программа Copilot 110

Заключение. 111

Глава 5. Остальные инструменты программирования на основе
искусственного интеллекта. 113

CodeWhisperer от Amazon. 113

Duet AI от Google для разработчиков. 115

Tabnine. 117

Replit 118

CodeGPT.. 121

Cody  122

CodeWP. 124

Warp  125

Bito AI. 127

Cursor 128

Code Llama. 130

Остальные модели с открытым исходным кодом.. 131

StableCode. 131

AlphaCode. 132

PolyCoder 132

CodeT5. 132

Компании, производящие корпоративное программное обеспечение. 133

Заключение. 134

Глава 6. ChatGPT и другие большие языковые модели общего назначения. 135

ChatGPT.. 135

GPT-4. 136

Навигация по ChatGPT.. 137

Мобильное приложение. 140

Пользовательские запросы.. 141

Просмотр с помощью Bing. 141

Утомительные задачи. 145

Регулярные выражения. 146

Стартовый код. 147

GitHub README.. 148

Кросс-браузерная совместимость. 149

Команды Bash. 150

GitHub Actions. 150

Плагины.. 151

Плагин Codecademy. 152

Плагин AskYourDatabase. 153

Плагин Recombinant AI. 154

GPTs  154

Gemini 156

Приложения. 158

Программирование в Gemini 159

Claude. 161

Заключение. 163

Глава 7. Идеи, планирование и требования. 165

Мозговой штурм.. 165

Исследование рынка. 167

Тенденции развития рынка. 170

Общий адресный рынок. 171

Конкуренция. 172

Требования. 174

Документ с требованиями к продукту. 175

Спецификация требований к программному обеспечению.. 176

Интервью.. 177

Белая доска. 178

Стиль. 180

Подходы к планированию проекта. 181

Разработка через тестирование. 183

Разработка веб-дизайна. 185

Заключение. 188

Глава 8. Программирование. 189

Что в реальности?. 189

Мотивы, помогающие принять решение. 191

Обучение. 191

Комментарии. 193

Модульное программирование. 194

Начало работы над проектом.. 195

Автозаполнение. 196

Рефакторинг. 198

Ninja Code. 198

Метод извлечения. 199

Разделение условий. 200

Переименование. 200

Мертвый код. 201

Функции. 202

Объектно-ориентированное программирование. 204

Фреймворки и библиотеки. 205

Данные. 206

Разработка фронтенда. 208

Каскадные таблицы стилей CSS. 209

Создание графики. 210

Инструменты на основе искусственного интеллекта. 211

API-интерфейсы.. 213

Заключение. 214

Глава 9. Отладка, тестирование и развертывание. 215

Отладка. 215

Документация. 216

Код-ревью.. 218

Модульные тесты.. 219

Запросы на извлечение. 222

Развертывание. 224

Обратная связь с пользователями. 225

Запуск. 227

Заключение. 228

Глава 10. Выводы.. 229

Интенсивный процесс обучения. 229

Основные преимущества. 229

Но есть и недостатки. 230

Оперативное проектирование —  это не только искусство, но и наука. 231

За гранью программирования. 232

Искусственный интеллект не заменит вас на работе. 232

Заключение. 233

Предметный указатель. 234

Об авторе. 238

Об изображении на обложке. 239

Опубликовано

Вышло 4-е издание книги: “Мобильные роботы с искусственным интеллектом на базе Arduino”

Мобильные роботы с искусственным интеллектом на базе Arduino, 4-е издание

Руководство для начинающих конструкторов написано в форме практических проектов по построению мобильных роботов, для реализации которых выбрана популярная платформа Arduino и единая базовая двухколесная конструкция. Сложность проектов возрастает от простой, управляемой с пульта «машинки» до роботов с элементами искусственного интеллекта. Рассказано, как управлять моторами, осуществлять сборку механики и электроники, программировать основные функции и управлять роботом. Роботы смогут обходить препятствия, выбираться из лабиринтов, обнаруживать и распознавать дорожные знаки.

В четвертом издании по сравнению с третьим, выходившем под названием «Мобильные  роботы на базе Arduino», предложены современные идеи для модернизации роботов. Рассмотрено использование связки Arduino и ESP32-CAM, позволяющей «видеть» окружающий мир с помощью цифровой камеры и управлять роботами через веб-интерфейс. Показано, как робот обнаруживает и распознает дорожные знаки с помощью машинного обучения на базе технологии искусственного интеллекта Edge Impulse.

Электронный архив на сайте издательства содержит листинги, библиотеки и программы для Arduino, ESP32 и SPBot.

Для читателей, интересующихся электроникой и робототехникой

Практические проекты для начинающих и продвинутых конструкторов

Лучший практический гид по созданию умных роботов! От основ пайки до нейросетей на Edge Impulse. В архиве — все программы и 3D-модели.

Структура книги:

  • Часть I: Основы робототехники (датчики, пайка, программирование).
  • Часть II: Сборка базового робота (Arduino, mCore, SPBot).
  • Часть III: Автономные роботы (гироскопы, ИК-датчики, сервоприводы).
  • Часть IV: ИИ для роботов (ESP32-CAM, Edge Impulse).

Для кого актуально 4-е издание?

  • Для тех, кто хочет выйти за рамки базовой робототехникии освоить ИИ.
  • Для преподавателей, которым нужны современные проектыдля курсов.
  • Для инженеров, экспериментирующих с TinyML и компьютерным зрением.

Книгу “Stable Diffusion XL. Генерируем картинки нейросетью на своем компьютере” можно купить в нашем интенет-магазине.

Опубликовано

Новинка: “Stable Diffusion. 22 урока для начинающих”

Stable Diffusion. 22 урока для начинающих

В книге представлено 22 проиллюстрированных урока по работе с нейросетью Stable Diffusion в интерфейсах AUTOMATIC1111 и Forge. Для лучшего усвоения материала разработаны сопровождающие книгу видеоуроки и сделан полный разбор всех моделей и препроцессоров ControlNet, доступный на электронном ресурсе Figma.  Рассмотрены расширения ADetailer, Civitai Helper, State, A-person-mask-generator, Dynamic Prompts, Prompt All-in-One, SD-WebUI-AR-Plus, Photopea, FreeU, Reactor и ControlNet. Описаны основные функции и настройки, приведены примеры применения для генерации изображений. Рассказано, как управлять стилем и композицией через промты, настроить модели и препроцессоры ControlNet, автоматизировать генерации серий изображений с помощью расширений и скриптов, создавать реалистичные лица и другие изображения,  использовать продвинутые трюки по ретуши и постобработке,  интегрировать WebUI AUTOMATIC1111 и Forge в рабочие проекты.

Электронное приложение на сайте издательства содержит дополнительные материалы: цветные изображения и видеоуроки.

Для начинающих дизайнеров

Научись использовать нейросеть для генерации изображений в дизайне, графике и фото

Просто, наглядно и с примерами — книга научит создавать изображения с помощью нейросети на телефоне, в «облаке» и на ПК.

  • Установка и запуск: как развернуть Stable Diffusion локально и в Google Colab.
  • Интерфейсы: работа с AUTOMATIC1111 и Forge — двумя популярными вариантами веб-интерфейса.
  • Расширения и инструменты: ADetailer, Dynamic Prompts, Prompt-all-in-one, sd-webui-ar-plus, Photopea, Reactor и ControlNet — как использовать их для тонкой настройки изображений.

Результат: вы получите прочную основу для работы с генеративной графикой, визуальными эффектами и нейросетевыми креативными процессами.

Вы узнаете, как

  • работать в WebUI интерфейсах AUTOMATIC1111 и Forge;
  • управлять стилем и композицией через промты;
  • настроить модели и препроцессоры ControlNet;
  • автоматизировать генерации серий изображений с помощью расширений и скриптов;
  • создавать реалистичные лица с помощью расширений ADetailer и A-person-mask-generator;
  • делать продвинутые трюки по ретуши и постобработке в Photopea в интерфейсе Forge;
  • интегрировать WebUI AUTOMATIC1111 и Forge в рабочие проекты.

Книгу “Stable Diffusion. 22 урока для начинающих” можно купить в нашем интенет-магазине.

Предисловие…………………………………………………………………………………………….. 8

Структура книги…………………………………………………………………………………………………………………………… 9

Некоторые обозначения и условности…………………………………………………………………………………….. 10

ВВЕДЕНИЕ. Что такое нейросети и как они генерируют изображения?… 11

Часть I. Нейросети. Генерация изображений в смартфоне, облаке и на ПК          15

УРОК 1. Нейросети для генерации со смартфона…………………………………… 17

Шедеврум……………………………………………………………………………………………………………………………………. 17

GenZArt……………………………………………………………………………………………………………………………………….. 19

PixAI……………………………………………………………………………………………………………………………………………. 19

Dream by WOMBO……………………………………………………………………………………………………………………… 20

Starryai………………………………………………………………………………………………………………………………………… 21

УРОК 2. Нейросети в облаке………………………………………………………………….. 24

Stable Diffusion Web…………………………………………………………………………………………………………………… 24

Kandinsky 3.0……………………………………………………………………………………………………………………………… 27

DALL-E 3…………………………………………………………………………………………………………………………………….. 30

Lexica, Playground Ai и Leonardo.Ai………………………………………………………………………………………….. 30

Artbreeder…………………………………………………………………………………………………………………………………….. 32

Midjourney………………………………………………………………………………………………………………………………….. 40

УРОК 3. Нейросети для установки локально на ПК: Stable Diffusion……… 42

Часть II. Установка Stable Diffusion локально
и на Google Colab…………………………………………………………………………. 49

УРОК 4. Интерфейсы Stable Diffusion и системные требования к ним…….. 51

Интерфейсы Stable Diffusion……………………………………………………………………………………………………… 52

AUTOMATIC1111………………………………………………………………………………………………………………. 52

Forge…………………………………………………………………………………………………………………………………….. 53

ComfyUI……………………………………………………………………………………………………………………………… 54

InvokeAI……………………………………………………………………………………………………………………………… 56

Fooocus………………………………………………………………………………………………………………………………… 57

Системные требования……………………………………………………………………………………………………………… 58

Тесты производительности……………………………………………………………………………………………………….. 61

УРОК 5. Локальная установка………………………………………………………………. 66

Установка AUTOMATIC1111…………………………………………………………………………………………………… 66

Установка Python 3.10.6……………………………………………………………………………………………………. 67

Установка редактора для работы с кодом………………………………………………………………………. 69

Установка Git……………………………………………………………………………………………………………………… 70

Установка интерфейса AUTOMATIC1111………………………………………………………………………. 73

Загрузка модели и запуск нейросети……………………………………………………………………………….. 77

Полезные функции и аргументы запуска…………………………………………………………………………. 80

Установка интерфейса Forge…………………………………………………………………………………………………….. 84

Установка менеджера пакетов Stability Matrix……………………………………………………………………….. 88

УРОК 6. Установка на Google Colab………………………………………………………. 97

Блокнот Google Colab………………………………………………………………………………………………………………… 97

Улучшенные генерации…………………………………………………………………………………………………………… 104

Часть III. Обзор возможностей AUTOMATIC1111
и генерация первых картинок……………………………………………….. 111

УРОК 7. Генерация изображения по промту и изображению……………….. 113

Вкладка txt2img: генерация изображения по промту. Клубничный торт………………………….. 113

Интерфейс вкладки txt2img……………………………………………………………………………………………… 113

Первая генерация……………………………………………………………………………………………………………… 114

Настройки Hires. fix…………………………………………………………………………………………………………. 117

Увеличение изображения………………………………………………………………………………………………… 119

Вкладка img2img: генерация изображения по промту и изображению.
Гоночная машина……………………………………………………………………………………………………………………. 122

Настройки вкладки img2img……………………………………………………………………………………………. 122

Правильный состав любого промта……………………………………………………………………………….. 123

Генерация изображения………………………………………………………………………………………………….. 124

УРОК 8. Вкладка Extras……………………………………………………………………….. 127

Увеличение изображения: параметр Upscale………………………………………………………………………… 127

Восстанавливаем лица: параметры GFPGAN и CodeFormer……………………………………………….. 129

Оптимизация маленькой памяти: параметр Split oversized images………………………………………. 129

Автоматическое кадрирование изображения: параметр Auto focal point crop………………….. 131

Кадрирование до указанного размера: параметр Auto-sized crop……………………………………… 132

Отражение изображения в одну из сторон: параметр Create flipped copies……………………….. 132

Автоматическое создание текстовых описаний изображения: параметр Caption……………. 133

УРОК 9. Вкладки PNG info, Checkpoint merger, Train, Settings и Extensions 135

Вкладка PNG info: извлечение промта из сгенерированного ранее изображения…………….. 135

Вкладка Checkpoint merger: слияние разных моделей нейросети………………………………………. 136

Вкладка Train: тренировка маленьких моделей……………………………………………………………………. 138

Создание текстовой инверсии…………………………………………………………………………………………. 138

Создание гиперсети…………………………………………………………………………………………………………. 140

Вкладка Settings: настраиваем нейросеть под себя……………………………………………………………… 140

Вкладка Extensions: обзор способов установки расширений……………………………………………… 142

Часть IV. Генерация изображений по промту:
вкладка txt2img……………………………………………………………………………. 147

УРОК 10. Поколения и виды моделей, лицензии их использования…….. 149

Поколения моделей нейросети……………………………………………………………………………………………….. 149

Виды моделей…………………………………………………………………………………………………………………………… 153

Устанавливаем современную модель……………………………………………………………………………………. 156

Сайты для загрузки моделей…………………………………………………………………………………………………… 163

Лицензии использования моделей………………………………………………………………………………………….. 166

Компания Stability AI……………………………………………………………………………………………………….. 166

Компания Fusionbrain.ai…………………………………………………………………………………………………… 168

Компания «Яндекс» (Шедеврум)…………………………………………………………………………………….. 168

Компания OpenAI (DALL-E)……………………………………………………………………………………………. 168

Нейросеть Artbreeder……………………………………………………………………………………………………….. 169

Нейросеть Midjourney……………………………………………………………………………………………………… 169

Нейросеть Leonardo.Ai…………………………………………………………………………………………………….. 170

Нейросеть Playground AI…………………………………………………………………………………………………. 170

Нейросеть Lexica……………………………………………………………………………………………………………… 170

Нейросеть Dream by Wombo…………………………………………………………………………………………… 170

Нейросеть Starryai……………………………………………………………………………………………………………. 170

Нейросети GenZart и PixAI……………………………………………………………………………………………… 171

УРОК 11. Генерируем фотореалистичный город и устанавливаем
первое расширение………………………………………………………………………………. 172

Генерируем фотореалистичный город………………………………………………………………………………….. 172

Устанавливаем расширение Civitai Helper……………………………………………………………………………. 180

Вкладка Civitai Helper……………………………………………………………………………………………………… 182

Вкладка Civitai Helper Browser………………………………………………………………………………………… 188

УРОК 12. Примеры использования нейросети……………………………………… 190

Генерация персонажей из аниме и компьютерных игр………………………………………………………… 190

Генерация персонажа в стиле аниме……………………………………………………………………………… 190

Генерация персонажа в стиле компьютерных игр………………………………………………………… 194

Генерация логотипов, одежды, архитектуры и графики для 2D-игр…………………………………… 196

Генерация логотипа компании……………………………………………………………………………………….. 196

Генерация одежды для мужчины……………………………………………………………………………………. 200

Генерация архитектуры………………………………………………………………………………………………….. 203

Генерация графики для 2D-игр……………………………………………………………………………………….. 205

УРОК 13. Сравнение методов генерации по разным настройкам…………. 211

Выбираем Sampling method: анализ на примере портретной генерации…………………………… 211

Улучшаем качество изображения: настройки Schedule type, Hires. fix,
Denoising strength, Upscaler………………………………………………………………………………………………………. 212

Настройка Schedule type…………………………………………………………………………………………………. 212

Настройки Hires. fix и Denoising strength………………………………………………………………………… 214

Виды Upscaler и их зависимость от количества шагов Hires………………………………………… 215

УРОК 14. Секреты создания качественных изображений с людьми…….. 218

Дорабатываем лицо и руки: ADetailer и Refiner в действии…………………………………………………. 218

ADetailer…………………………………………………………………………………………………………………………….. 218

Refiner……………………………………………………………………………………………………………………………….. 224

Улучшаем изображение: параметр CFG Scale……………………………………………………………………… 226

УРОК 15. Ускорение написания промта………………………………………………. 228

Установка расширения Dynamic Prompts……………………………………………………………………………… 228

Установка расширения Prompt-all-in-one………………………………………………………………………………. 236

Генерация золотого кольца с бриллиантом………………………………………………………………………….. 242

Создание контента для соцсетей: генерируем 90 изображений цветов одной темы…………. 242

УРОК 16. Скрипты и расширения для ускорения работы…………………….. 245

Встроенные скрипты……………………………………………………………………………………………………………….. 245

Скрипт Prompt matrix: создание одного изображения в разных стилях
(генерируем загородный дом)…………………………………………………………………………………………. 245

Скрипт X/Y/Z plot: создание нескольких сеток изображений
с различными параметрами……………………………………………………………………………………………. 247

Скрипт Prompts from file or textbox: создание списка заданий для нейросети…………… 249

Загружаемые расширения для ускорения работы……………………………………………………………….. 251

Расширения для настройки быстрой смены соотношения сторон изображения……….. 251

Sd-webui-ar-plus……………………………………………………………………………………………………….. 251

Aspect Ratio Resolutions selector-xhox……………………………………………………………………. 254

Расширение State: сохраняем настройки предыдущей генерации……………………………… 255

Style Selector for SDXL 1.0: настройка стилей……………………………………………………………………….. 256

Часть V. Генерация изображения по промту и изображению: вкладка img2img…………………………………………………………………………………………………………….. 259

УРОК 17. Общие настройки вкладки img2img
и автоматическая генерация промта…………………………………………………….. 261

Общие настройки вкладки img2img……………………………………………………………………………………….. 261

Параметр Seed Extra: вариации изображения………………………………………………………………………. 265

Параметр Interrogate: автоматическая генерация текста по изображению……………………….. 266

УРОК 18. Режимы работы на вкладке img2img…………………………………….. 267

Вкладка img2img: генерируем интерьер………………………………………………………………………………… 267

Режим Sketch вкладки img2img: меняем цвета отдельных частей интерьера…………………….. 271

Режим Inpaint вкладки img2img: генерация новых объектов интерьера без изменения всего изображения      276

Расширение Canvas Zoom………………………………………………………………………………………………………. 276

Режим Inpaint sketch вкладки img2img…………………………………………………………………………………… 279

Режим Inpaint upload вкладки img2img: добавление деталей по маске……………………………… 282

Упражнение: режимы Sketch и Inpaint…………………………………………………………………………………… 284

Задача……………………………………………………………………………………………………………………………….. 284

Решение…………………………………………………………………………………………………………………………….. 284

Настройка Soft inpainting: улучшение качества режима Inpaint………………………………………… 287

УРОК 19. Расширения для создания быстрых эффектов,
ретуши изображений и дизайна……………………………………………………………. 292

Расширение A Person Mask Generator: быстрая замена одежды и частей тела человека…. 292

Photopea: бесплатная альтернатива Photoshop для нейросетей…………………………………………. 295

Устанавливаем для интернет-браузера расширение Adblock…………………………………….. 295

Устанавливаем расширение Photopea…………………………………………………………………………… 295

Интерфейс Photopea: панель инструментов, слои и маски, кисти инструментов………. 297

Расширение PBRemTools: замена (вырезка) фона изображения…………………………………………. 300

Расширение FreeU: существенное повышение качества генераций……………………………………. 303

Расширение Color Correction и методы обработки StableSR: цветокоррекция изображения на вкладке Extras              305

Расширение Canvas Editor: быстро создаем визитку……………………………………………………………. 307

Расширение ReActor: создаем арты со своим лицом……………………………………………………………. 309

Установка расширения ReActor……………………………………………………………………………………… 309

Способ применения расширения ReActor и обзор его настроек………………………………….. 311

УРОК 20. Оптимизация интерфейса и скрипты вкладки img2img………… 314

Расширение SD Webui Tabs: оптимизируем интерфейс нейросети……………………………………… 314

Скрипты вкладки img2img………………………………………………………………………………………………………. 315

Скрипт img2img alternative test……………………………………………………………………………………….. 315

Скрипт Loopback……………………………………………………………………………………………………………… 320

Скрипты Outpainting mk2 и Poor man’s outpainting: расширение изображения…………. 321

Скрипт Outpainting mk2………………………………………………………………………………………….. 321

Скрипт Poor man’s outpainting………………………………………………………………………………… 323

Скрипты SD upscale, Ultimate SD upscale: масштабирование (увеличение) изображения 324

Скрипт SD upscale…………………………………………………………………………………………………… 324

Скрипт Ultimate SD upscale…………………………………………………………………………………….. 324

Скрипт controlnet m2m…………………………………………………………………………………………………….. 327

Часть VI. Нейросеть внутри нейросети:
расширение ControlNet…………………………………………………………… 329

УРОК 21. Установка расширения ControlNet и загрузка моделей………… 331

Установка расширения ControlNet…………………………………………………………………………………………. 331

Загрузка моделей расширения ControlNet…………………………………………………………………………….. 331

Разница между моделями ControlNet в интерфейсах нейросетей……………………………………….. 340

УРОК 22. Настройки расширения ControlNet и создание
нового изображения на основе контуров другого изображения……………. 343

Настройки расширения ControlNet………………………………………………………………………………………… 343

Multi-ControlNet……………………………………………………………………………………………………………………….. 345

Работаем с расширением ControlNet: модель Canny……………………………………………………………. 345

ПРИЛОЖЕНИЕ. Описание файлового архива, сопровождающего книгу 351

 

Опубликовано

Бестселлер: “Stable Diffusion XL. Генерируем картинки нейросетью на своем компьютере”

Stable Diffusion XL. Генерируем картинки нейросетью на своем компьютере

Книга посвящена генерации изображений на домашнем компьютере с использованием нейросети Stable Diffusion XL. Подробно описана архитектура Stable Diffusion XL, шаг за шагом показан процесс установки и настройки программного обеспечения нейросети на домашнем компьютере, даны инструкции по выбору подходящих для задач пользователя моделей, рефайнеров, LoRA и стилей. Приведены подробные инструкции по улучшению качества получаемых изображений с использованием reForge, правильному составлению промптов, раскрыты дополнительные возможности WebUI reForge. Описаны принципы работы с механизмами улучшения генеративных картинок: семплерами и шедулерами. Показаны тонкости работы с открытыми моделями FLUX.1 и SwarmUI. Даны детальные инструкции по генерации изображений в разных стилях, включая аниме и фотореалистичные портреты, описаны скрытые возможности Stable Diffusion XL.

Для широкого круга читателей

Электронный архив с цветными иллюстрациями к книге можно скачать по ссылке https://zip.bhv.ru/9785977520638.zip, а также со страницы книги на сайте bhv.ru.

Хотите генерировать уникальные изображения с ИИ — без подписок и ограничений?
Эта книга научит вас в полной мере использовать Stable Diffusion XL на своём ПК: от установки до продвинутых техник. Вы сможете создавать:

  • Реалистичные портреты
  • Фантастические пейзажи
  • Яркие аниме-иллюстрации …и многое другое, полностью контролируя каждый этап.

Stable Diffusion XL — это “цифровая кисть” нового поколения.
Введите текст — и нейросеть превратит ваши идеи в изображения. Но чтобы раскрыть её потенциал, нужны знания. Эта книга — ваш проводник в мир генеративной графики.

Что внутри?

✔ Пошаговая установка Stable Diffusion XL на домашний компьютер
✔ Выбор моделей, рефайнеров, LoRA и стилей под ваши задачи
✔ reForge, FLUX.1, SwarmUI — инструменты для улучшения качества картинок
✔ Семплеры и шедулеры — как они влияют на результат
✔ Секреты промптов — учимся формулировать запросы точно
✔ Аниме-стиль, скрытые настройки и другие творческие возможности

Итог: вы не просто научитесь «нажимать кнопки» — вы освоите Stable Diffusion XL как профессионал, с полной свободой творчества.

Книгу “Stable Diffusion XL. Генерируем картинки нейросетью на своем компьютере” можно купить в нашем интенет-магазине.

Предисловие…………………………………………………………………………………………….. 7

Благодарности……………………………………………………………………………………………………………………………… 8

Глава 1. Введение в Stable Diffusion XL…………………………………………………….. 9

Приступаем…………………………………………………………………………………………………………………………………… 9

Stable Diffusion XL в облаке……………………………………………………………………………………………………… 10

Локальные дистрибутивы Stable Diffusion………………………………………………………………………………. 10

Какие вообще бывают сборки?…………………………………………………………………………………………. 12

Первый запуск……………………………………………………………………………………………………………………………. 12

Как составить запрос………………………………………………………………………………………………………………… 20

Продвинутые возможности……………………………………………………………………………………………………….. 21

Недостатки Fooocus…………………………………………………………………………………………………………………… 23

Достоинства……………………………………………………………………………………………………………………………….. 24

Как дела с законностью?…………………………………………………………………………………………………………… 25

Глава 2. Выбираем модели, рефайнеры, лоры и стили……………………………. 26

Различия между пресетами……………………………………………………………………………………………………….. 26

Базовые модели………………………………………………………………………………………………………………………….. 27

Универсальные модели, пригодные для реализма…………………………………………………………………. 30

Специализированные модели: аниме………………………………………………………………………………………. 36

Модели-рефайнеры……………………………………………………………………………………………………………………. 37

Стили…………………………………………………………………………………………………………………………………………… 38

Лоры……………………………………………………………………………………………………………………………………………. 43

Глава 3. ReForge: улучшаем картинки, генерируемые Stable Diffusion…… 47

Stable Diffusion WebUI и его производные………………………………………………………………………………. 47

Краткая предыстория………………………………………………………………………………………………………………… 48

Установка и начало работы……………………………………………………………………………………………………… 49

Пути к моделям…………………………………………………………………………………………………………………… 50

Обновление существующей сборки………………………………………………………………………………….. 51

Сохранение настроек………………………………………………………………………………………………………… 58

Дополнительные настройки……………………………………………………………………………………………… 58

Работа со стилями……………………………………………………………………………………………………………………… 59

Hires.fix: генерируем картинки высокого разрешения……………………………………………………………. 61

Где брать модели……………………………………………………………………………………………………………….. 64

Что рекомендуют на Reddit, и почему не стоит слепо доверять рекомендациям…………. 64

Для иллюстраций, аниме и изображений в стиле штриховой графики…………………………. 65

Для псевдореалистичных изображений и графики в стиле 2.5D и 3D…………………………… 66

Для фотореалистичных изображений……………………………………………………………………………… 66

Глава 4. FLUX.1 и SwarmUI. Генерируем картинки
новой открытой моделью……………………………………………………………………….. 69

Что за Flux?…………………………………………………………………………………………………………………………………. 69

Возможности Flux………………………………………………………………………………………………………………………. 70

Comfy и SwarmUI………………………………………………………………………………………………………………………. 73

Установка и начало работы……………………………………………………………………………………………………… 74

Шпаргалка: ограничения модели FLUX.1 (dev)………………………………………………………………. 76

Дополнительные настройки……………………………………………………………………………………………………… 76

Рука-лицо……………………………………………………………………………………………………………………………………. 78

Конфиги и пресеты…………………………………………………………………………………………………………………….. 82

Ждем Stable Diffusion 3 или не ждем?………………………………………………………………………………………. 83

Выводы……………………………………………………………………………………………………………………………………….. 85

Глава 5. Фишки Flux.1. Добиваемся лучших картинок
от генеративной модели…………………………………………………………………………. 86

Поддержка Flux в WebUI Forge…………………………………………………………………………………………………. 86

NF4, FP16, FP8, Q8, GGUF: в чем разница?………………………………………………………………………………. 87

Шпаргалка: какие файлы качать……………………………………………………………………………………………… 88

Запускаем Flux на старых видеокартах………………………………………………………………………………….. 90

Текстовые декодеры и квантизация моделей………………………………………………………………………….. 91

Модели и текстовые декодеры………………………………………………………………………………………….. 91

Квантование текстовых декодеров T5XXL……………………………………………………………………… 91

Квантование диффузионных моделей……………………………………………………………………………… 92

Решетка на плавных градиентах……………………………………………………………………………………………… 93

Генерируем картинки в разрешении 2К…………………………………………………………………………………… 94

Негативные ключевые слова…………………………………………………………………………………………………….. 95

Способ 1: Flux Guidance Scale…………………………………………………………………………………………… 96

Способ 2: Dynamic Thresholding……………………………………………………………………………………….. 96

Способ 3: Perp-Neg……………………………………………………………………………………………………………… 97

Раскрываем креативность модели……………………………………………………………………………………………. 97

Выводы……………………………………………………………………………………………………………………………………… 101

Глава 6. Семплеры и шедулеры. Разбираем два важных механизма улучшения генеративных картинок………………………………………………………………………………………………. 102

Семплер и шедулер: что это такое…………………………………………………………………………………………. 102

Семплеры………………………………………………………………………………………………………………………………….. 105

Устаревшие семплеры……………………………………………………………………………………………………… 105

Обычные дифференциальные уравнения: семплеры класса ODE……………………………….. 105

Семплеры класса ancestral………………………………………………………………………………………………. 107

DPM, DPM++ и их производные……………………………………………………………………………………… 107

SDE: щепотка случайности…………………………………………………………………………………………….. 109

Специализированные семплеры…………………………………………………………………………………….. 111

Лучшее — враг хорошего?……………………………………………………………………………………………… 111

Шедулеры…………………………………………………………………………………………………………………………………. 116

Uniform: отправная точка……………………………………………………………………………………………….. 116

Karras…………………………………………………………………………………………………………………………………. 117

Экспоненциальный шедулер…………………………………………………………………………………………… 117

Align Your Steps…………………………………………………………………………………………………………………. 118

Beta                                                                                                                                                                 118

Шпаргалка……………………………………………………………………………………………………………………………….. 120

Глава 7. Карта мира генеративного ИИ. Выбираем модель и интерфейс, разбираемся с терминами…………………………………………………………………………………………………………….. 122

Что нужно, чтобы начать создавать картинки?……………………………………………………………………. 122

Видеокарта……………………………………………………………………………………………………………………….. 122

Софт…………………………………………………………………………………………………………………………………… 123

Что из этого выбрать?……………………………………………………………………………………………………………… 124

Модели и архитектуры……………………………………………………………………………………………………………. 125

Базовые и дополнительные модели……………………………………………………………………………………….. 127

Из каких частей состоит базовая модель………………………………………………………………………. 128

Обученные модели и ремиксы………………………………………………………………………………………… 129

Где брать базовые модели………………………………………………………………………………………………. 129

Глава 8. Расширяем возможности WebUI reForge, чтобы повысить комфорт и качество            131

WebUI reForge dev……………………………………………………………………………………………………………………. 131

Начало работы: раскладываем расширения по полочкам…………………………………………………. 132

Расширения-улучшения………………………………………………………………………………………………………….. 134

Быстрый выбор соотношения сторон…………………………………………………………………………….. 134

Сохранение конфигурации……………………………………………………………………………………………… 134

Очередь задач…………………………………………………………………………………………………………………… 135

Превью моделей……………………………………………………………………………………………………………….. 136

Теги Danbooru для аниме-моделей…………………………………………………………………………………. 137

Динамические запросы……………………………………………………………………………………………………. 138

Детализация рук и лиц…………………………………………………………………………………………………………….. 139

Улучшайзеры…………………………………………………………………………………………………………………………… 142

Механизм внутреннего внимания…………………………………………………………………………………… 142

Бесплатный ланч……………………………………………………………………………………………………………… 143

Выводы……………………………………………………………………………………………………………………………………… 144

Глава 9. Нарушаем правила и расширяем границы возможного при генерации картинок         145

Борьба с выгоранием………………………………………………………………………………………………………………. 145

Низкие значения CFG: высокая креативность, но низкий контраст…………………………….. 146

Высокие значения CFG: точное следование запросу и детализация, сопровождаемые «выгоранием»    149

DynamicThresholding (CFG-Fix)……………………………………………………………………………… 149

RescaleCFG………………………………………………………………………………………………………………. 149

AutomaticCFG………………………………………………………………………………………………………….. 151

Warp Drive: ускорение генерации………………………………………………………………………….. 153

APG’s now your CFG………………………………………………………………………………………………… 154

Skimmed CFG…………………………………………………………………………………………………………… 156

Высокое разрешение в один проход………………………………………………………………………………………. 157

А теперь — все в одном…………………………………………………………………………………………………………… 163

Все расширения в одном файле……………………………………………………………………………………………… 166

Глава 10. Как правильно просить Stable Diffusion нарисовать картинку. 167

Кого будем спрашивать?………………………………………………………………………………………………………… 168

Оператор BREAK…………………………………………………………………………………………………………………….. 171

Негативные ключевые слова………………………………………………………………………………………………….. 174

Весовые коэффициенты…………………………………………………………………………………………………………… 175

Котапельсин или апельсокот?………………………………………………………………………………………………… 176

Текстовые инверсии…………………………………………………………………………………………………………………. 178

Composable Diffusion………………………………………………………………………………………………………………. 179

Шпаргалка по составлению запросов…………………………………………………………………………………… 180

Глава 11. Разбираемся с моделями для создания картинок в стиле аниме 181

Чего не будет в этой главе………………………………………………………………………………………………………. 181

Аниме: базовые модели и ремиксы………………………………………………………………………………………… 182

Pony…………………………………………………………………………………………………………………………………… 182

Illustrious……………………………………………………………………………………………………………………………. 182

Animagine………………………………………………………………………………………………………………………….. 183

Pony Diffusion: во что превратилась модель для генерации пушистых зверушек…………….. 183

Score_9, score_8_up и прочие неприятности…………………………………………………………………………. 184

Illustrious: «неэтичная» альтернатива от корейских разработчиков………………………………….. 186

Animagine XL 4.0……………………………………………………………………………………………………………………… 188

Запрягаем в одну телегу коня и трепетную лань: фотореалистичное аниме…………………….. 189

Слегка реалистичное аниме и 3DCG……………………………………………………………………………………… 191

А фотореалистичные модели Illustrious бывают?…………………………………………………………………. 192

А фотореалистичные модели Animagine?……………………………………………………………………………… 192

Ближайшее будущее……………………………………………………………………………………………………………….. 194

Pony…………………………………………………………………………………………………………………………………… 194

Animagine………………………………………………………………………………………………………………………….. 195

Illustrious……………………………………………………………………………………………………………………………. 195

NoobAI………………………………………………………………………………………………………………………………. 195

Выводы……………………………………………………………………………………………………………………………………… 196

Глава 12. Как создаются модели для рисования откровенных сцен……… 197

Обученные модели и ремиксы………………………………………………………………………………………………… 197

Цензура и борьба с ней: ранние этапы………………………………………………………………………………….. 198

Фотореалистичные модели глубокого обучения………………………………………………………………….. 199

Ближайшее будущее……………………………………………………………………………………………………………….. 203

Flux.dev……………………………………………………………………………………………………………………………… 203

SD 3.5…………………………………………………………………………………………………………………………………. 203

Lumina 2……………………………………………………………………………………………………………………………. 203

AuraFlow……………………………………………………………………………………………………………………………. 203

SDXL………………………………………………………………………………………………………………………………….. 204

Выводы……………………………………………………………………………………………………………………………………… 204

Предметный указатель…………………………………………………………………………. 205