Метка: программирование

Опубликовано

Интерпретируемое машинное обучение на Python

Интерпретируемое машинное обучение на Python

Представляем книгу Серга Масиса “Интерпретируемое машинное обучение на Python”.

Книга поможет осознанно и эффективно работать с моделями машинного обучения. Дано введение в интерпретацию машинного обучения: раскрыты важность темы, ее ключевые понятия и проблемы. Рассмотрены методы интерпретации: модельно-агностические, якорные и контрфактические, для многопеременного прогнозирования, а также  визуализации сверточных нейронных сетей. Раскрыты вопросы настройки на интерпретируемость: отбор и конструирование признаков, ослабление систематического смещения и причинно-следственный вывод, монотонные ограничения, настройка моделей и устойчивость к антагонизму. Показаны перспективы развития интерпретируемых моделей машинного обучения. Каждая глава книги включает подробные примеры исходного кода на языке Python.

На сайте издательства размещен архив с цветными иллюстрациями.

О чем эта книга

Эта книга поможет вам эффективно работать с моделями машинного обучения. Каждая глава включает подробные примеры исходного кода на языке Python.

Первый раздел книги представляет собой руководство для начинающих по интерпретации результатов моделирования. В нем даны основные понятия и проблемы, показано значение машинного обучения в бизнесе. Рассмотрены модели белого ящика, черного ящика и стеклянного ящика, проведено их сравнение и предложены разумные компромиссы.

Во втором разделе описан широкий спектр методов интерпретации, известных также как методы объяснимого искусственного интеллекта, и их применение в случаях  классификации, регрессии, табличных временных рядов, обработки изображений или текста. Результаты моделирования сопровождаются программными кодами и понятными примерами.

В третьем разделе рассмотрена настройка моделей и работа с обучающими данными. При этом интерпретируемость обеспечивается за счет снижения сложности, ослабления систематического смещения и повышения надежности. Рассмотрены новейшие методы выбора признаков, монотонных ограничений, состязательного переобучения и др.

К концу этой книги вы сможете лучше понимать модели машинного обучения и улучшать их за счет настройки интерпретируемости.

Для кого эта книга предназначена

  • для новичков и студентов, изучающих науку о данных, обладающих основополагающими знаниями машинного обучения и языка программирования Python;
  • для профессионалов по работе с данными, на которых возлагается все более важная ответственность в объяснении хода работы систем ИИ, которые они разрабатывают и чью работу они сопровождают технически;
  • для инженеров по машинному обучению и исследователей данных, которые хотят расширить свой набор навыков, включив в него новейшие методы интерпретации и способы уменьшения систематических ошибок;
  • для специалистов по этике ИИ, чтобы углубить свое понимание имплементационных сторон своей работы в целях более эффективного ориентирования этих усилий;
  • для менеджеров проектов ИИ и руководителей компаний, которые хотят внедрить интерпретируемое машинное обучение в свои производственные процессы, чтобы соответствовать принципам объективности, подотчетности и прозрачности.

    Вы изучите:

    • Проблемы интерпретируемости в бизнесе
    • Внутренне интерпретируемые модели, такие как линейные модели, деревья решений и наивный байесовский метод
    • Интерпретацию моделей с помощью методов, не зависящих от модели
    • Работу классификатора изображений
    • Методы ослабления систематического смещения
    • Методы защиты моделей от атак
    • Применение монотонных ограничений для повышения безопасности моделей

Книгу “Интерпретируемое машинное обучение на Python” можно купить со скидкой в интернет-магазине издательства “БХВ“.

Об авторе. 15

О рецензентах. 17

Предисловие. 19

Для кого эта книга предназначена. 20

Что эта книга охватывает. 21

Как получить максимальную отдачу от этой книги. 23

Загрузка файлов с исходным кодом.. 24

Загрузка цветных изображений. 25

Используемые условные обозначения. 25

Часть I. Введение в интерпретацию машинного обучения. 27

Глава 1. Интерпретация, интерпретируемость и объяснимость:
почему всё это важно?. 29

Технические требования. 30

Что такое интерпретация машинного обучения?. 30

Изучение простой модели предсказания веса. 31

Понимание разницы между интерпретируемостью и объяснимостью.. 37

Что такое интерпретируемость?. 37

Что такое объяснимость?. 40

Деловое обоснование интерпретируемости. 42

Более качественные решения. 42

Более надежные бренды.. 44

Более высокий уровень этичности. 46

Более высокая прибыльность. 49

Резюме. 50

Источники изображений. 50

Справочные материалы.. 50

Глава 2. Ключевые понятия интерпретируемости. 52

Технические требования. 52

Миссия. 52

Подробности о сердечно-сосудистых заболеваниях. 53

Подход. 54

Подготовительные работы.. 54

Загрузка библиотек. 54

Изучение проблемы и подготовка данных. 54

Ознакомление с типами методов интерпретации и диапазонами интерпретируемости  57

Типы методов модельной интерпретации. 61

Диапазоны модельной интерпретируемости. 61

Интерпретирование отдельных предсказаний с помощью логистической регрессии  62

Оценивание препятствий, мешающих интерпретируемости результатов машинного обучения  67

Нелинейность. 69

Интерактивность. 72

Немонотонность. 72

Миссия выполнена. 74

Резюме. 75

Справочные материалы.. 75

Глава 3. Трудности интерпретации. 76

Технические требования. 76

Миссия. 76

Подход. 78

Подготовительные работы.. 78

Загрузка библиотек. 78

Изучение проблемы и подготовка данных. 79

Обзор традиционных методов модельной интерпретации. 84

Предсказывание минут задержки с помощью различных
регрессионных методов. 84

Классифицирование рейсов как задержанных либо незадержанных
с использованием различных классификационных методов. 89

Визуализация задержанных рейсов с помощью методов понижения размерности  96

Ограничения традиционных методов модельной интерпретации. 102

Изучение имманентно интерпретируемых моделей (типа белого ящика) 103

Обобщенные линейные модели. 103

Деревья решений. 118

RuleFit 123

Метод ближайших соседей. 125

Наивный Байес. 127

Распознавание компромисса между результативностью
и интерпретируемостью.. 130

Особые модельные свойства. 130

Диагностика результативности. 131

Обнаружение более новых интерпретируемых (аквариумных) моделей. 134

Объяснимая бустинговая машина. 134

Skoped-Rules. 138

Миссия выполнена. 140

Резюме. 141

Источник набора данных. 141

Справочные материалы.. 142

Часть II. Освоение методов интерпретации. 143

Глава 4. Основы важности признаков и их влияние. 145

Технические требования. 145

Миссия. 146

Личность и очередность рождения. 146

Подход. 147

Подготовительные работы.. 147

Загрузка библиотек. 147

Изучение проблемы и подготовка данных. 148

Как измерить влияние признака на исход. 150

Важность признаков в древовидных моделях. 154

Важность признаков в логистической регрессии. 156

Важность признаков в линейном дискриминантном анализе. 159

Важность признаков в многослойном персептроне. 161

Применение перестановочной важности признаков на практике. 162

Недостатки метода перестановочной важности признаков. 165

Интерпретирование графиков частичной зависимости. 166

Интеракционные графики частичной зависимости. 171

Недостатки графиков частичной зависимости. 174

Объяснение графиков индивидуального условного ожидания. 174

Недостатки графиков индивидуального условного ожидания. 179

Миссия выполнена. 179

Резюме. 180

Источник набора данных. 180

Справочные материалы.. 180

Глава 5. Модельно-агностические методы глобальной интерпретации. 182

Технические требования. 182

Миссия. 183

Подход. 184

Подготовительные работы.. 185

Загрузка библиотек. 185

Изучение проблемы и подготовка данных. 186

Значения Шепли. 196

Интерпретирование сводки SHAP и графиков зависимости. 198

Генерирование сводных графиков SHAP. 202

Изучение взаимодействий. 204

Графики зависимости SHAP. 207

Силовые графики SHAP. 215

Графики накопленных локальных эффектов. 217

Глобальные суррогаты.. 221

Подгонка суррогатов. 221

Оценивание суррогатов. 222

Интерпретирование суррогатов. 223

Миссия выполнена. 225

Резюме. 225

Справочные материалы.. 226

Глава 6. Модельно-агностические методы локальной интерпретации. 227

Технические требования. 227

Миссия. 227

Подход. 228

Подготовительные работы.. 229

Загрузка библиотек. 229

Изучение проблемы и подготовка данных. 230

Задействование ядерного объяснителя SHAP для локальных интерпретаций
со значениями SHAP. 236

Обучение модели C-SVC.. 237

Вычисление значений SHAP с помощью ядерного объяснителя. 239

Локальная интерпретация для группы предсказаний с использованием графиков решений  241

Локальная интерпретация по одному предсказанию за раз
с использованием силового графика. 244

Применение локально интерпретируемых модельно-агностических
объяснений. 247

Что такое LIME?. 247

Локальная интерпретация по одному предсказанию за раз
с использованием табличного объяснителя на основе LIME. 249

Использование метода LIME для NLP. 251

Обучение модели LightGBM.. 253

Локальная интерпретация по одному предсказанию за раз
с использованием текстового объяснителя на основе LIME. 254

Опробование SHAP в обработке естественного языка. 257

Сравнение SHAP с LIME. 260

Миссия выполнена. 261

Резюме. 262

Источник набора данных. 262

Справочные материалы.. 262

Глава 7. Якорные и контрфактические объяснения. 264

Технические требования. 264

Миссия. 264

Необъективная смещенность в диагностиках риска рецидивизма. 266

Подход. 267

Подготовительные работы.. 267

Загрузка библиотек. 267

Изучение проблемы и подготовка данных. 268

Якорные объяснения. 278

Подготовительные работы для якорных и контрафактических
объяснений с помощью библиотеки alibi 279

Локальные интерпретации якорных объяснений. 281

Анализ контрфактических объяснений. 284

Контрфактические объяснения под руководством прототипов. 285

Получение контрфактических экземпляров и многого другого
с помощью инструмента What-If Tool (WIT) 289

Сравнение с помощью метода контрастивного объяснения. 299

Миссия выполнена. 303

Резюме. 304

Источник набора данных. 304

Справочные материалы.. 304

Глава 8. Визуализация сверточных нейронных сетей. 306

Технические требования. 306

Миссия. 307

Подход. 308

Подготовительные работы.. 309

Загрузка библиотек. 309

Изучение проблемы и подготовка данных. 310

Диагностика CNN-классификатора традиционными методами интерпретации  315

Визуализирование процесса усвоения с помощью активационных методов. 323

Промежуточные активации. 325

Максимизация активации. 328

Оценивание ошибочных классификаций с помощью градиентных методов атрибуции  332

Карты значимости. 333

Метод градиентных карт активаций классов Grad-CAM.. 336

Интегрированные градиенты.. 338

Окончательная сборка. 341

Объяснение классификаций с помощью пертурбационных методов
атрибуции. 344

Окклюзивная чувствительность. 344

Объяснитель изображений методом LIME. 347

Метод контрастивных объяснений. 349

Окончательная сборка. 354

Бонусный метод: глубокий объяснитель SHAP. 357

Миссия выполнена. 358

Резюме. 359

Источники данных и изображений. 359

Справочные материалы.. 360

Глава 9. Методы интерпретации для многопеременного
прогнозирования и анализа чувствительности. 361

Технические требования. 362

Миссия. 362

Подход. 364

Подготовительные работы.. 365

Загрузка библиотек. 365

Изучение проблемы и подготовка данных. 366

Диагностика моделей временного ряда с использованием традиционных методов интерпретации  375

Использование стандартных регрессионных метрик. 376

Агрегации предсказательных ошибок. 378

Оценивание как классификационная задача. 380

Генерирование LSTM-атрибуций с помощью интегрированных градиентов. 381

Вычисление глобальных и локальных атрибуций с помощью ядерного объяснителя SHAP  387

Зачем использовать ядерный объяснитель?. 387

Определение стратегии, позволяющей работать с моделью многопеременного временного ряда  388

Заложение основы для стратегии аппроксимации перестановок. 389

Выявление влияющих признаков с помощью факторной приоритизации. 394

Вычисление индексов чувствительности Морриса. 395

Анализирование элементарных эффектов. 398

Квантифицирование неопределенности и стоимостной чувствительности
с помощью фиксирования факторов. 401

Генерирование и предсказывание на образцах Сальтелли. 402

Выполнение анализа чувствительности по методу Соболя. 403

Встраивание реалистичной функции стоимости. 405

Миссия выполнена. 409

Резюме. 410

Источники данных и изображений. 411

Справочные материалы.. 411

Часть III. Настройка на интерпретируемость. 413

Глава 10. Отбор и конструирование признаков для обеспечения интерпретируемости  415

Технические требования. 416

Миссия. 416

Подход. 417

Подготовительные работы.. 418

Загрузка библиотек. 418

Изучение проблемы и подготовка данных. 419

Изучение эффекта нерелевантных признаков. 420

Построение базовой модели. 421

Оценивание модели. 422

Обучение базовой модели на разных максимальных глубинах. 425

Обзор фильтрационных методов отбора признаков. 427

Базовые фильтрационные методы.. 428

Корреляционные фильтрационные методы.. 430

Ранжирующие фильтрационные методы.. 432

Сравнение фильтрационных методов. 434

Анализ встроенных методов отбора признаков. 435

Раскрытие потенциала оберточных, гибридных и продвинутых методов
отбора признаков. 439

Оберточные методы.. 439

Гибридные методы.. 441

Продвинутые методы.. 443

Оценивание всех моделей, построенных с применением отбора
признаков. 445

Обзор конструирования признаков. 447

Миссия выполнена. 455

Резюме. 457

Источники наборов данных. 457

Справочные материалы.. 457

Глава 11. Ослабление систематического смещения
и причинно-следственный вывод. 459

Технические требования. 460

Миссия. 460

Подход. 461

Подготовительные работы.. 462

Загрузка библиотек. 462

Изучение проблемы и подготовка данных. 463

Обнаружение систематического смещения. 467

Визуализирование систематического смещения набора данных. 469

Квантифицирование систематического смещения набора данных. 472

Квантифицирование систематического смещения модели. 476

Ослабление систематического смещения. 479

Методы ослабления систематического смещения стадии
предварительной обработки. 480

Методы ослабления систематического смещения стадии
промежуточной обработки. 487

Методы ослабления систематического смещения стадии
последующей обработки. 490

Окончательная сборка. 493

Построение причинно-следственной модели. 495

Изучение результатов эксперимента. 497

Изучение причинно-следственных моделей. 500

Инициализация линейного дважды устойчивого ученика. 502

Обучение причинно-следственной модели. 502

Гетерогенные эффекты экспериментальной процедуры.. 503

Выбор политики. 507

Проверка устойчивости оценки. 510

Добавление случайной общей причины.. 510

Замена экспериментальной процедуры случайной переменной. 511

Миссия выполнена. 512

Резюме. 513

Источник набора данных. 513

Справочные материалы.. 513

Глава 12. Монотонные ограничения и настройка моделей
на интерпретируемость. 515

Технические требования. 516

Миссия. 516

Подход. 518

Подготовительные работы.. 518

Загрузка библиотек. 519

Изучение проблемы и подготовка данных. 519

Установка ограничений с помощью конструирования признаков. 522

Упорядочение. 523

Дискретизация. 525

Члены взаимодействия и нелинейные преобразования. 526

Категориальное кодирование. 530

Другие подготовительные работы.. 531

Настройка моделей на интерпретируемость. 532

Настройка нейронной сети Keras. 533

Настройка других популярных модельных классов. 536

Оптимизация под объективность с помощью байесовой гиперпараметрической настройки и прикладных метрик. 544

Имплементирование модельных ограничений. 550

Ограничения в XGBoost 551

Ограничения в TensorFlow Lattice. 556

Миссия выполнена. 563

Резюме. 564

Источник набора данных. 565

Справочные материалы.. 565

Глава 13. Устойчивость к антагонизму. 566

Технические требования. 567

Миссия. 567

Подход. 569

Подготовительные работы.. 569

Загрузка библиотек. 569

Изучение проблемы и подготовка данных. 570

Загрузка базовой модели CNN.. 573

Диагностика базового классификатора CNN.. 575

Эвазивные атаки. 576

Атака быстрым методом на основе знака градиента. 578

Атака методом инфинитной нормы Карлини и Вагнера. 581

Целенаправленная атака методом антагонистических заплат. 583

Защита от целенаправленных атак с помощью предобработки. 585

Защита от любой эвазивной атаки с помощью антагонистического
обучения устойчивого классификатора. 590

Оценивание и сертифицирование устойчивости к антагонизму. 595

Сравнение устойчивости модели с силой атаки. 595

Сертифицирование устойчивости с помощью рандомизированного сглаживания  597

Миссия выполнена. 604

Резюме. 605

Источники наборов данных. 605

Справочные материалы.. 606

Глава 14. Интерпретируемость машинного обучения: что дальше?. 607

Современное состояние интерпретируемости машинного обучения. 607

Связываем всё воедино! 607

Текущие тренды.. 612

Размышления о будущем интерпретируемости машинного обучения. 614

Новое видение машинного обучения. 615

Междисциплинарный подход. 616

Соответствующая требованиям стандартизация. 616

Исполнение регуляторных предписаний. 616

Бесшовная автоматизация машинного обучения со встроенной интерпретацией  617

Более тесная интеграция с инженерами MLOps. 617

Справочные материалы.. 618

Предметный указатель. 619

Об авторе

Serg Masís

Серг Масис (Serg Masís) в течение последних двух десятилетий трудится на стыке веб-разработки, разработки приложений и аналитики. В настоящее время он является специалистом по климатическим и агрономическим данным в Syngenta, веду- щей агробизнес-компании с миссией по улучшению глобальной продовольственной безопасности. До этого стал одним из основателей стартапа, созданного Harvard Innovation Labs, который объединил возможности облачных вычислений и машинного обучения с принципами из науки принятия решений, чтобы знакомить пользователей с новыми местами и событиями. Независимо от того, к чему это относится: к досугу, болезням растений или пожизненной ценности клиента, — Серг увлечен нахождением часто недостающих связей между данными  и процессом принятия решений, и интерпретация результатов работы моделей машинного обучения эффективно помогает преодолевать этот разрыв.

Я рад, что моя книга получила 4,5 звезды в Goodreads и 4,7 в Amazon , а также следующие награды:и «Лучшая книга об искусственном интеллекте  всех времен» от Book Authority.

Опубликовано

Новинка! “Java. Состояние языка и его перспективы”

Java. Состояние языка и его перспективы

Книга о современном состоянии языка Java, векторе его развития, а также о грамотном программировании в духе паттернов GoF. Книга дает базовое представление о фреймворке Spring, контейнерах Docker, принципах ООП, затрагивая, в частности, переход к облачным решениям, обращение с IDE. Также освещены темы из enterprise-разработки: файловый ввод/вывод NIO2, многопоточность, локализация, интеграция и оптимизация производительности. В книге отражено состояние языка по состоянию на версию Java 17 с разбором некоторых аспектов Java 18.

Будет интересна специалистам, возвращающимся к работе с Java после перерыва, бэкенд-разработчикам, читателям, готовящимся к сертификационным экзаменам.

Изучив предложенные примеры, Вы:

  • познакомитесь с объектно-ориентированным программированием на Java;
  • основами фреймворка Spring;
  • контейнерами Docker;
  • структурами данных;
  • идиомами программирования.

Язык Java более 20 лет занимает ведущие позиции в программировании для больших предприятий, бэкенд-разработке, банковском секторе, распределенных вычислениях. Java – ключевой язык для программирования под Android, несмотря на растущую популярность Kotlin. Виртуальная машина Java (JVM) является платформой для множества сложных и востребованных языков, прежде всего, Kotlin и Scala. Наконец, именно Java и его крупный фреймворк Spring наиболее отвечают современным вызовам, связанным с облачными и бессерверными вычислениями.  При этом в последние 5-6 лет экосистема Java меняется на глазах. В области Enterprise-разработки открыто соперничают Java EE и Jakarta EE. Каденция версий Java ускорилась, и новая мажорная версия теперь выходит примерно раз в полгода. Естественно, приходится поддерживать и актуализировать массу legacy-кода, где в лучшем случае реализованы возможности Java 8, например, лямбда-выражения.

Не будет преувеличением сказать, что в наше время даже при изучении Java с нуля необходимо держать в уме это беспокойное наследство. Типичная книга об очередной новой версии Java устареет раньше, чем выйдет из типографии. Именно поэтому давно назрела необходимость в такой книге, как эта. В ней вы усвоите основы языка, познакомитесь с принципами его версионирования и расширяемости, а также рассмотрите магистральные векторы его развития. Новейший материал книги в основном ограничен Java 17, но также затрагивает некоторые аспекты Java 18.

Нет фото

Федор Урванов обладает более чем тринадцатилетним опытом профессионального программирования. Обладает сертификатами 1Z0-803 (Oracle Certified Associate, Java SE 7 Programmer) и 1Z0-804 (Oracle Certified Professional, Java SE 7 Programmer), 7 лет ведёт блог по разработке программного обеспечения https://urvanov.ru, имеет богатый опыт коммерческой разработки на Java, участвовал в разработке программного обеспечения для нескольких крупнейших банков России.

Книгу “Java. Состояние языка и его перспективы” можно купить со скидкой в интернет-магазине издательства “БХВ“.

Глава 1. Введение………………………………………… 7

1.1. Для кого эта книга……………………………………….. 7

1.2. Что понадобится…………………………………………. 7

1.3. Первая программа………………………………………. 8

1.4. Задания…………………………………………………… 11

Глава 2. Переменные…………………………………. 11

2.1. Типы переменных……………………………………… 11

2.2. Соглашение об именовании переменных…………. 13

2.3. Типы данных……………………………………………. 13

2.4. Значения по умолчанию………………………………. 14

2.5. Литералы………………………………………………… 15

2.6. Целочисленные литералы……………………………. 15

2.7. Литералы с плавающей точкой……………………… 16

2.8. Символьные и строковые литералы……………….. 17

2.9. Другие литералы……………………………………….. 18

2.10. Массивы……………………………………………….. 19

2.11. Задания…………………………………………………. 20

Глава 3. Операции……………………………………… 21

3.1. Операция присваивания……………………………… 21

3.2. Преобразование примитивных типов………………. 22

3.3. Расширяющее преобразование примитивов……… 22

3.4. Сужающее преобразование примитивов………….. 23

3.5. Арифметические операции…………………………… 24

3.6. Унарные операции…………………………………….. 26

3.7. Отличие постфиксного и префиксного инкремента и декремента            27

3.8. Операции сравнения………………………………….. 28

3.9. Логические И и ИЛИ…………………………………… 29

3.10. Операция instanceof…………………………………. 29

3.11. Тернарная операция…………………………………. 31

3.12. Битовые операции……………………………………. 31

3.13. Присвоение с выполнением другой операции….. 32

3.14. Приоритеты операций……………………………….. 33

3.15. Задания…………………………………………………. 34

Глава 4. Выражения, инструкции и блоки……. 35

4.1. Операторы управления порядком выполнения….. 36

4.2. Операторы if-then и if-then-else……………………… 37

4.3. Оператор switch………………………………………… 39

4.4. Оператор while………………………………………….. 43

4.5. Оператор do-while……………………………………… 45

4.6. Оператор for…………………………………………….. 45

4.7. Оператор break…………………………………………. 47

4.8. Оператор continue……………………………………… 48

4.9. Оператор return…………………………………………. 49

4.10. Задания…………………………………………………. 50

Глава 5. Классы и объекты………………………… 50

5.1. Классы……………………………………………………. 50

5.2. Поля………………………………………………………. 51

5.3. Объявление методов………………………………….. 53

5.4. Конструкторы……………………………………………. 56

5.5. Передача параметров…………………………………. 58

5.6. Сборка мусора………………………………………….. 61

5.7. Ключевое слово this…………………………………… 61

5.8. Ключевое слово static………………………………… 63

5.9. Ключевое слово final………………………………….. 64

5.10. Инициализация полей……………………………….. 66

5.11. Задания…………………………………………………. 68

Глава 6. Аннотации…………………………………….. 69

6.1. Объявление аннотаций……………………………….. 69

6.2. Предопределенные аннотации………………………. 72

6.3. Мета-аннотации………………………………………… 73

6.4. Задания…………………………………………………… 75

Глава 7. Вложенные классы
и лямбда-выражения………………………………….. 75

7.1. Что такое вложенные классы……………………….. 75

7.2. Для чего использовать вложенные классы………. 76

7.3. Статические вложенные классы……………………. 77

7.4. Внутренние классы……………………………………. 79

7.5. Внутренний класс, являющийся нестатическим членом класса              80

7.6. Локальные классы…………………………………….. 81

7.7. Анонимные классы…………………………………….. 82

7.8. Затенение переменных……………………………….. 84

7.9. Лямбда-выражения…………………………………….. 85

7.10. Ссылки на методы……………………………………. 89

7.11. Когда использовать вложенные классы, локальные классы, анонимные классы
и лямбда-выражения……………………………………… 91

7.12. Задания…………………………………………………. 92

Глава 8. Интерфейсы…………………………………. 93

8.1. Теория……………………………………………………. 93

8.2. Задания…………………………………………………… 99

Глава 9. Наследование……………………………….. 99

9.1. Введение…………………………………………………. 99

9.2. Приведение типов……………………………………. 101

9.3. Переопределение (overriding) и скрытие (hiding) методов       102

9.4. Использование ключевого слова super………….. 106

9.5. Общий предок Object и его методы……………….. 109

9.6. Ключевое слово final и неизменяемые классы…. 112

9.7. Абстрактные методы и классы…………………….. 112

9.8. Задания…………………………………………………. 113

Глава 10. Пакеты……………………………………… 114

10.1. Теория…………………………………………………. 114

10.2. Задания……………………………………………….. 118

Глава 11. Перечисления……………………………. 118

11.1. Теория…………………………………………………. 118

11.2. Задания……………………………………………….. 123

Глава 12. Записи………………………………………. 123

12.1. Теория…………………………………………………. 123

12.2. Задания……………………………………………….. 125

Глава 13. Числа………………………………………… 126

13.1. Введение……………………………………………… 126

13.2. BigInteger……………………………………………… 128

13.3. BigDecimal……………………………………………. 130

13.4. Math……………………………………………………. 132

13.5. Задания……………………………………………….. 133

Глава 14. Строки………………………………………. 134

14.1. Класс String…………………………………………… 134

14.2. Методы класса String………………………………. 140

14.3. StringBuilder и StringBuffer…………………………. 143

14.4. Задания……………………………………………….. 145

Глава 15. Автоупаковка и распаковка……….. 146

15.1. Теория…………………………………………………. 146

15.2. Задания……………………………………………….. 148

Глава 16. Optional…………………………………….. 149

16.1. Теория…………………………………………………. 149

16.2. Задания……………………………………………….. 154

Глава 17. Модули……………………………………… 154

17.1. Теория…………………………………………………. 154

17.2. Задания……………………………………………….. 159

Глава 18. Обобщения………………………………… 160

18.1. Введение……………………………………………… 160

18.2. Класс Lair……………………………………………… 160

18.3. Обобщенная версия класса Lair…………………. 161

18.4. Соглашение об именовании переменных типа.. 162

18.5. Создание экземпляра обобщенного типа и обращение к нему              162

18.6. Бриллиантовая операция (Diamond operator)…. 163

18.7. Несколько параметров типа………………………. 164

18.8. Сырой тип (Raw type)……………………………… 164

18.9. Сообщения об ошибках “unchecked”……………. 165

18.10. Обобщенные методы……………………………… 166

18.11. Ограниченные параметры типа…………………. 167

18.12. Обобщения, наследование и дочерние типы… 169

18.13. Выведение типов………………………………….. 171

18.14. Выведение типов и обобщенные методы…….. 172

18.15. Выведение типов и создание экземпляра обобщенного класса           173

18.16. Выведение типа и обобщенные конструкторы обобщенных и необобщенных классов          174

18.17. Целевые типы……………………………………… 175

18.18. Подстановочный символ (wildcard)……………. 176

18.19. Подстановочный символ, ограниченный сверху (Upper bounded wildcard)           176

18.20. Неограниченный подстановочный символ (Unbounded wildcard)         177

18.21. Подстановочные символы и дочерние типы… 179

18.22. Захват символа подстановки (Wildcard Capture) и вспомогательные методы       180

18.23. Руководство по использованию подстановочного символа 182

18.24. Стирание типа (Type Erasure)…………………… 184

18.25. Стирание типа в обобщенных типах…………… 184

18.26. Стирание типа в обобщенных методах……….. 185

18.27. Получение аргумента типа родительского класса 185

18.28. Влияние стирания типа и методы-мосты
(bridge methods)………………………………………….. 186

18.29. Методы-мосты (Bridge Methods)……………….. 187

18.30. Загрязнение кучи (Heap pollution)………………. 188

18.31. Подавление предупреждений для методов с произвольным количеством параметров с нематериализуемыми формальными
параметрами………………………………………………. 191

18.32. Ограничения обобщений…………………………. 192

18.33. Задания………………………………………………. 195

Глава 26. Коллекции…………………………………. 278

26.1. Введение……………………………………………… 278

26.2. Интерфейс Collection………………………………. 278

26.3. Интерфейс Set………………………………………. 280

26.4. Интерфейс List………………………………………. 281

26.5. Интерфейс Queue…………………………………… 283

26.6. Интерфейс Deque…………………………………… 284

26.7. Интерфейс Map……………………………………… 285

26.8. Интерфейс ConcurrentMap………………………… 286

26.9. Класс Dictionary и его наследник Hashtable…… 287

26.10. Сортировка объектов……………………………… 287

26.11. Интерфейс SortedSet……………………………… 292

26.12. Интерфейс SortedMap……………………………. 294

26.13. Другие реализации интерфейсов коллекций…. 295

26.14. Java Stream API……………………………………. 296

26.15. Алгоритмы…………………………………………… 303

26.16. Задания………………………………………………. 304

Глава 27. Дата и время……………………………… 305

27.1. Введение……………………………………………… 305

27.2. Класс Date……………………………………………. 305

27.3. Класс Calendar………………………………………. 306

27.4. Пакет java.time………………………………………. 308

27.5. Перечисление DayOfWeek……………………….. 308

27.6. Перечисление Month……………………………….. 309

27.7. Класс LocalDate……………………………………… 311

27.8. Класс LocalTime…………………………………….. 311

27.9. Класс LocalDateTime……………………………….. 311

27.10. Класс YearMonth…………………………………… 312

27.11. Класс MonthDay……………………………………. 313

27.12. Класс Year…………………………………………… 313

27.13. Классы ZoneId и ZoneOffset…………………….. 313

27.14. Класс ZonedDateTime…………………………….. 315

27.15. Класс OffsetDateTime…………………………….. 315

27.16. Класс OffsetTime………………………………….. 316

27.17. Класс Instant……………………………………….. 316

27.18. Форматирование и преобразование из строки. 317

27.19. Интерфейс TemporalAdjuster……………………. 318

27.20. Интерфейс TemporalQuery………………………. 319

27.21. Класс Duration……………………………………… 319

27.22. Перечисление ChronoUnit……………………….. 320

27.23. Класс Period………………………………………… 320

27.24. Класс Clock…………………………………………. 321

27.25. Задания………………………………………………. 321

Глава 28. Форматирование и парсинг………… 322

28.1. Введение……………………………………………… 322

28.2. Класс NumberFormat……………………………….. 323

28.3. Класс DecimalFormat………………………………. 324

28.4. Класс DateFormat…………………………………… 325

28.5. Класс DateTimeFormatter…………………………. 326

28.6. Класс SimpleDateFormat…………………………… 326

28.7. Класс PrintStream…………………………………… 328

28.8. Класс Formatter……………………………………… 328

28.9. Класс Scanner……………………………………….. 333

28.10. Задания………………………………………………. 335

Глава 29. Работа с консолью…………………….. 336

29.1. Теория…………………………………………………. 336

29.2. Задание……………………………………………….. 338

Глава 30. Локализация……………………………… 339

30.1. Теория…………………………………………………. 339

30.2. Задание……………………………………………….. 341

Глава 31. Пример сервиса со Spring………….. 342

31.1. Что за сервис мы напишем……………………….. 342

31.2. Spring Initializr………………………………………… 343

31.3. Разбор сгенерированного скелета приложения.. 346

31.4. Добавление конечных точек………………………. 349

31.5. Слой бизнес-сервисов……………………………… 351

31.6. Работа с базой данных…………………………….. 357

31.7. Вызов методов с Postman………………………… 360

31.8. Docker…………………………………………………. 360

31.9. Kubernetes……………………………………………. 363

31.10. Задания………………………………………………. 366

Глава 32. Заключение……………………………….. 367

 

 

 

Опубликовано

Представляем книгу “Разработка веб-приложений с помощью ASP.Net Core MVC”

Разработка веб-приложений с помощью ASP.Net Core MVC

Книга посвящена фреймворку ASP.NET Core MVC. Представлены особенности MVC-архитектуры (Model-View-Controller), основные принципы проектирования веб-приложений и организации корректной работы с различными типами веб-запросов. Показано, как взаимодействовать с базами данных посредством популярных ORM (объектно-реляционное отображение). В книге рассматриваются методы определения пользовательского интерфейса с помощью среды Razor и открытых клиентских библиотек, описаны способы построения Web API и использование его в клиентских приложениях.  Подробно описаны различные варианты публикации приложений. Электронный архив на сайте издательства содержит результаты выполнения всех рассмотренных в книге проектов.

ASP.NET Core MVC для современных веб-разработчиков

  • ASP.NET Core MVC
  • Контроллеры MVC
  • Razor
  • Entity Framework Core
  • Web API
  • Фронтенд-фреймворки AJAX
Умрихин Евгений

Умрихин Евгений Дмитриевич, кандидат технических наук, инженер-программист в крупной региональной страховой компании. Имеет многолетний опыт разработки и внедрения распределенных IT-решений с использованием веб-сервисов ASP.NET и мобильных платформ Android и iOS. Обладатель ряда авторских свидетельств об официальной регистрации программ для ЭВМ.

Книгу “Разработка веб-приложений с помощью ASP.Net Core MVC” можно купить со скидкой в интернет-магазине издательства “БХВ“.

Введение………………………………………………………………………………………………….. 7

Что вы узнаете из этой книги………………………………………………………………………………………………………. 9

Что нужно знать…………………………………………………………………………………………………………………………. 11

Основные термины и понятия…………………………………………………………………………………………………… 11

Об авторе……………………………………………………………………………………………………………………………………. 12

Благодарности…………………………………………………………………………………………………………………………… 12

Глава 1. Основные сведения………………………………………………………………….. 13

Создание первого приложения…………………………………………………………………………………………………. 15

Структура проекта и файловая система………………………………………………………………………………….. 18

Точка входа в приложение……………………………………………………………………………………………………….. 20

Конфигурация приложения………………………………………………………………………………………………………. 23

Создание сервисов и внедрение зависимостей……………………………………………………………………….. 27

Компоненты Middleware……………………………………………………………………………………………………………. 35

Использование статического контента……………………………………………………………………………………. 42

Добавление инфраструктуры MVC…………………………………………………………………………………………. 43

Глава 2. Контроллеры MVC…………………………………………………………………… 46

Маршрутизация…………………………………………………………………………………………………………………………. 47

Понятие контроллера………………………………………………………………………………………………………………… 53

Результаты действий контроллера…………………………………………………………………………………………… 54

Общие сведения о представлениях…………………………………………………………………………………………… 57

Представление списков данных……………………………………………………………………………………………….. 59

Создание службы данных…………………………………………………………………………………………………………. 61

Атрибуты контроллера……………………………………………………………………………………………………………… 64

Ограничение типов запросов……………………………………………………………………………………………………. 65

Контекст контроллера………………………………………………………………………………………………………………. 65

Отправка файлов с сервера………………………………………………………………………………………………………. 68

Глава 3. Модели…………………………………………………………………………………….. 72

Понятие модели………………………………………………………………………………………………………………………….. 72

Передача моделей в представление…………………………………………………………………………………………. 75

Использование ViewModel………………………………………………………………………………………………………… 83

Передача моделей в контроллеры……………………………………………………………………………………………. 91

Создание элементов коллекции данных………………………………………………………………………………….. 97

Аннотации………………………………………………………………………………………………………………………………… 101

Проверка модели на сервере…………………………………………………………………………………………………… 103

Глава 4. Представления Razor……………………………………………………………… 108

Синтаксис Razor………………………………………………………………………………………………………………………. 108

Внедрение зависимостей в представление……………………………………………………………………………. 115

Компиляция среды выполнения Razor…………………………………………………………………………………… 117

Передача данных в представление………………………………………………………………………………………… 120

Компоновки………………………………………………………………………………………………………………………………. 122

Файл _ViewStart……………………………………………………………………………………………………………………….. 126

Файл _ViewImports………………………………………………………………………………………………………………….. 128

HTML-хелперы………………………………………………………………………………………………………………………… 129

Тег-хелперы……………………………………………………………………………………………………………………………… 137

Частичные представления………………………………………………………………………………………………………. 148

Компоненты представлений…………………………………………………………………………………………………… 150

Компоненты Blazor………………………………………………………………………………………………………………….. 152

Глава 5. Использование баз данных…………………………………………………….. 159

Обзор Entity Framework Core………………………………………………………………………………………………….. 159

Добавление службы для работы с базой данных…………………………………………………………………. 168

Применение Dapper………………………………………………………………………………………………………………….. 175

Глава 6. Введение в веб-API…………………………………………………………………. 180

Определение контроллера веб-API………………………………………………………………………………………… 181

Тестирование методов контроллера веб-API………………………………………………………………………… 187

Клиент службы веб-API…………………………………………………………………………………………………………… 192

Валидация в веб-API……………………………………………………………………………………………………………….. 203

Настройка форматов……………………………………………………………………………………………………………….. 208

Создание чат-бота…………………………………………………………………………………………………………………… 211

Глава 7. Фронтенд-фреймворки……………………………………………………………. 218

Добавление клиентских библиотек………………………………………………………………………………………… 218

Стилизация с помощью Bootstrap………………………………………………………………………………………….. 223

Проверка данных на клиентской стороне……………………………………………………………………………… 226

Знакомство с jQuery UI……………………………………………………………………………………………………………. 229

Глава 8. Технология AJAX…………………………………………………………………… 235

Основы AJAX……………………………………………………………………………………………………………………………. 235

Обработка запросов………………………………………………………………………………………………………………… 239

Основные методы AJAX-библиотеки jQuery…………………………………………………………………………. 245

Методы обработки событий…………………………………………………………………………………………………… 252

Обработка данных перед отправкой……………………………………………………………………………………… 257

Использование jQuery Unobtrusive AJAX………………………………………………………………………………. 259

CRUD-операции с использованием AJAX……………………………………………………………………………… 265

Глава 9. Основные сценарии, используемые при построении приложений 275

Сессии в ASP.NET Core……………………………………………………………………………………………………………. 275

Использование cookie……………………………………………………………………………………………………………… 280

Использование фильтров………………………………………………………………………………………………………… 284

Создание защищенных страниц…………………………………………………………………………………………….. 293

Комбинированный список с автоподстановкой……………………………………………………………………. 306

Динамический поиск по базе данных…………………………………………………………………………………….. 312

Раскрывающиеся списки…………………………………………………………………………………………………………. 314

Реализация фоновых задач…………………………………………………………………………………………………….. 321

Сортировка данных в таблицах…………………………………………………………………………………………….. 326

Группировка табличных данных…………………………………………………………………………………………… 332

Постраничное представление в таблицах…………………………………………………………………………….. 338

Изменение данных в таблицах……………………………………………………………………………………………….. 344

Разработка файлообменника………………………………………………………………………………………………….. 355

Создание формы обратной связи……………………………………………………………………………………………. 361

Добавление капчи……………………………………………………………………………………………………………………. 369

Использование переключателей…………………………………………………………………………………………….. 375

Глава 10. Публикация и развертывание приложений…………………………… 380

Публикация приложений………………………………………………………………………………………………………… 381

Развертывание приложения с помощью IIS………………………………………………………………………….. 386

Запуск приложения в виде службы Windows………………………………………………………………………… 390

Развертывание приложения в виде фонового сервиса под Linux………………………………………… 393

Заключение………………………………………………………………………………………….. 399

Приложение 1. Основные элементы HTML………………………………………….. 401

Базовые теги…………………………………………………………………………………………………………………………….. 401

Форматирование текста………………………………………………………………………………………………………….. 402

Элементы навигации……………………………………………………………………………………………………………….. 404

Встраивание элементов…………………………………………………………………………………………………………… 404

Работа с таблицами…………………………………………………………………………………………………………………. 405

Создание форм и кнопок…………………………………………………………………………………………………………. 405

Приложение 2. Содержимое электронного архива………………………………… 406

Предметный указатель…………………………………………………………………………. 407

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Опубликовано

Вышла книга “Linux и Go. Эффективное низкоуровневое программирование”

Linux и Go. Эффективное низкоуровневое программирование

Первая русскоязычная книга об интеграции языка Go в архитектуру ядра Linux. Содержит вводный курс по языку Go для системного программирования, описывает применение Go для реализации конкурентности и параллелизма, рассказывает об интероперабельности между имеющимся кодом на C с новым кодом на Go, а также исследует возможности внедрения Go для повышения производительности различных дистрибутивов.

Книга ориентирована на программистов и системных администраторов, работающих с Linux, будет интересна разработчикам ядра Linux и драйверов устройств.

 

Ядро операционной системы Linux и множество модулей для различных дистрибутивов написаны на языке C. Притом, что язык С продолжает развиваться и активно использоваться на практике, в область системного программирования постепенно проникают и более молодые языки, в частности Go.

Перед вами – первая фундаментальная книга об использовании Go в Linux. Здесь вы познакомитесь с основами системного программирования, изучите детали взаимодействия между ядром и пользовательским пространством Linux, а также узнаете об интероперабельности между С и Go, о том, в каких аспектах и нюансах Linux язык Go может заменить и уже заменяет язык C. Особое внимание уделено конкурентности, параллелизму и стандарту POSIX. В конце книги для закрепления материала приведены реализации нескольких популярных алгоритмов.

Цилюрик Олег Иванович

Цилюрик Олег Иванович — программист-разработчик с более чем 40-летним опытом, преподаватель, автор нескольких книг по Linux и Unix, высоко оцененных профессионалами и широкой читательской аудиторией.

Книгу “Linux и Go. Эффективное низкоуровневое программирование” можно купить со скидкой в интернет-магазине издательства “БХВ“.

Предисловие. 7

Предназначение и целевая аудитория. 7

Код примеров и замеченные опечатки. 9

Соглашения и выделения, принятые в тексте. 10

Напоминание. 11

Источники информации. 11

Часть I. Инструментарий языка Go. 13

Глава 1. Предыстория Go. 15

«Отцы-основатели» о целях и мотивации…… 15

Применимость: беглый взгляд. 16

Go, C, C++ и другие…… 17

Источники информации. 22

Глава 2. Разворачиваем экосистему Go. 23

Создание среды. 23

Стандартная инсталляция. 23

Версии среды. 25

Альтернативы. 26

«Самая последняя» версия. 27

Смена версий. 30

Проверяем: простейшая программа. 30

Проверяем на простейшем приложении. 32

Библиотеки статические и динамические. 34

Компиляция или интерпретация. 34

Выбор: GoLang или GCC?. 35

Инфраструктура GoLang. 36

Команды go. 36

Переменные окружения. 39

Платформы, переносимость и кросс-компиляция. 47

Стиль кодирования (автоформатирование — fmt) 49

Сборка приложений (build) 51

Сценарии на языке Go (run) 51

Загрузка проектов из сети (get) 52

Утилиты GoLang (tool) 57

Связь с кодом C (Cgo) 60

Сторонний и дополнительный инструментарий. 63

Источники информации. 65

Глава 3. Неформально о синтаксисе Go. 66

Типы данных. 71

Переменные. 73

Выполнение такого приложения. 74

Повторные декларации и переприсваивания. 76

Константы. 77

Агрегаты данных. 79

Массивы и срезы. 79

Двухмерные массивы и срезы. 84

Структуры. 85

Таблицы (хэши) 87

Динамическое создание переменных. 89

Конструкторы и составные литералы. 90

Операции. 91

Функции. 94

Вариативные функции. 98

Стек процедур завершения. 100

Обобщенные функции. 101

Функции высших порядков. 102

Встроенные функции. 104

Объектно-ориентированное программирование. 106

Методы. 107

Интерфейсы. 113

Обработка ошибочных ситуаций. 117

Структура пакетов (библиотек) Go. 121

Функция init 125

Импорт для использования побочных эффектов. 126

Некоторые полезные и интересные стандартные пакеты. 126

Пакет runtime. 127

Форматированный ввод-вывод. 128

Строки и пакет strings 129

Большие числа. 134

Автоматизированное тестирование. 135

Источники информации. 135

Часть II. Конкурентность и многопроцессорность. 137

Глава 4. Процессоры в Linux. 139

Процессоры, ядра и гипертрэдинг. 142

Загадочная нумерация процессоров. 144

Управление процессорами Linux. 147

Привязка к процессору. 147

Как происходит диспетчирование в Linux. 150

Источники информации. 156

Глава 5. Параллелизм и многопроцессорность. 157

Эволюция модели параллелизма. 157

Параллельные процессы и fork. 157

Потоки ядра и pthread_t POSIX.. 160

Сопрограммы — модель параллелизма Go. 166

Параллелизм в Go. 167

Сопрограммы — как это выглядит. 168

Возврат значений функцией. 171

Ретроспектива: сопрограммы в C++. 172

Каналы. 172

Функциональные замыкания в сопрограммах. 177

Примитивы синхронизации. 179

Конкурентность и параллельность. 185

Источники информации. 190

Глава 6. Масштабирование. 191

Планирование активности сопрограмм. 191

Испытательный стенд. 193

Микрокомпьютеры (Single-Board Computers) 193

Рабочие десктопы. 196

Серверы промышленного класса. 197

Масштабирование в реале. 198

1-я попытка …… 199

2-й подход к снаряду…… 205

О числе потоков исполнения. 213

Источники информации. 217

Часть III. Некоторые примеры и сравнения. 219

Глава 7. Осваиваемся в синтаксисе Go. 221

Утилита echo. 221

Итерационное вычисление вещественного корня. 223

Вычисление числа π. 225

Случайная последовательность и ее моменты. 227

Обсчет параметров 2D выпуклых многоугольников. 230

Тривиальный web-сервер. 235

Источники информации. 236

Глава 8. Структуры данных, типы и их методы.. 237

Массивы и срезы. 237

Многомерные срезы и массивы. 242

Функции с множественным возвратом. 243

Глава 9. Элементы функционального программирования. 246

Функциональные замыкания. 246

Карринг. 253

Рекурсия. 255

Рекурсия с кэшированием. 255

Чистые функции. 257

Источники информации. 257

Глава 10. Скоростные и другие сравнения языков. 258

Алгоритмические задачи для сравнения. 258

Некоторые известные алгоритмы. 259

Числа Фибоначчи. 260

Пузырьковая сортировка. 263

Ханойская башня. 268

Решето Эратосфена. 272

Глава 11. Многопроцессорные параллельные вычисления. 276

Скорость активации параллельных ветвей. 276

Гонки. 281

Защита критических данных. 285

Многопроцессорный брутфорс. 289

Каналы в сопрограммах. 295

Таймеры. 296

Тикеры. 298

Когда не нужно злоупотреблять многопроцессорностью.. 299

Источники информации. 302

Заключение. 303

Об авторе. 304

Опубликовано

Представляем новинку: “Надежный Python”

Надежный Python

Современные проекты на языке Python непрерывно растут, развиваются и при этом неизбежно усложняются. Добиться надежности кода Python при сохранении гибкости, понятности и расширяемости приложений позволяет система типов, которая в данной книге подробно исследована в рамках парадигмы ООП. Особое внимание уделяется аннотированию и проверке типов, а также созданию пользовательских специализированных типов.  Продвинутые главы книги посвящены вопросам тестирования, линтинга и обеспечения надежности программ на Python.

Для программистов

Пишем чистый код, который удобно поддерживать

Вам кажется, что ваши проекты Python становятся все больше и больше? Вас охватывает паника по мере того, как ваш программный код расширяется и его становится все труднее отлаживать и поддерживать? Python — это простой язык для изучения и использования, но это также означает, что системы могут быстро выйти за пределы понимания разработчика. К счастью, в Python есть функции, помогающие разработчикам преодолеть проблемы с ремонтопригодностью.

Прочитав книгу Вы:

  • узнаете, как максимально использовать систему типов Python;
  • познакомитесь с определяемыми пользователем типами, такими как классы и перечисления, а также с системой подсказок типов Python;
  • научитесь использовать в качестве подстраховки комплексную стратегию тестирования;
  • узнаете, как сделать Python расширяемым.

С помощью этих советов и приемов вы сможете писать более понятный и удобный для сопровождения код.

Книга идеально подходит для

  • разработчиков, которые в настоящее время работают с большой кодовой базой и пытаются найти более эффективные способы взаимодействия со своими коллегами;
  • специалистов по первоначальному сопровождению программного кода, которые ищут способы уменьшить нагрузку при сопровождении в будущем;
  • самоучек, которые хорошо владеют языком программирования Python, но хотят лучше понимать, почему и что мы делаем;
  • начинающих специалистов в области информационных технологий, которым нужны практические советы по разработке;
  • опытных разработчиков, которые ищут способ, как обосновать свой дизайн, опираясь на основные принципы надежности.

Моя книга сосредоточена на том, чтобы разработчики, унаследовавшие ваш код, не вносили новых ошибок в вашу систему. Я покажу вам, как общаться с будущими разработчиками, как упростить им работу с помощью архитектурных шаблонов и как выявлять ошибки в кодовой базе до того, как они попадут в готовый продукт. Основное внимание в книге уделяется надежности вашей кодовой базы на Python, а не надежности вашей системы в целом.
Патрик Виафоре

Патрик Виафоре

Патрик Виафоре более 13 лет занимался разработкой ПО повышенной надежности, в том числе для обнаружения молний, решения телекоммуникационных задач. Участвовал в разработке операционных систем. В настоящее время руководит собственной компанией Kudzera, LLC, занимающейся консалтингом и заказными проектами, связанными с Ubuntu. Свою миссию видит в демократизации высококачественной программной инженерии на благо профессионального сообщества.

Книгу “Надежный Python” можно купить со скидкой в интернет-магазине издательства “БХВ“.

Введение………………………………………………………………………………………………… 11

Для кого предназначена книга?……………………………………………………………………………………………….. 12

О чем эта книга?…………………………………………………………………………………………………………………………. 13

Условные обозначения……………………………………………………………………………………………………………… 15

Использование примеров кода…………………………………………………………………………………………………. 15

Как с нами связаться………………………………………………………………………………………………………………….. 16

Благодарности…………………………………………………………………………………………………………………………… 16

Глава 1. Введение в надежный Python……………………………………………………. 19

Надежность кодовой базы………………………………………………………………………………………………………… 19

Почему важна надежность?…………………………………………………………………………………………… 22

Обмен полезной информацией………………………………………………………………………………………………….. 23

Асинхронное взаимодействие……………………………………………………………………………………….. 26

Примеры понятного кода на Python…………………………………………………………………………………………. 29

Коллекции……………………………………………………………………………………………………………………….. 29

Итерации…………………………………………………………………………………………………………………………. 32

Принцип наименьшего удивления…………………………………………………………………………………. 34

Резюме…………………………………………………………………………………………………………………………………………. 35

Часть I. Аннотации типов…………………………………………………………… 37

Глава 2. Введение в типы Python……………………………………………………………. 39

Что такое тип?……………………………………………………………………………………………………………………………. 39

Машинное представление……………………………………………………………………………………………… 39

Семантическое представление……………………………………………………………………………………… 41

Системы типов……………………………………………………………………………………………………………………………. 44

Сильная и слабая типизации…………………………………………………………………………………………. 44

Динамическая и статическая типизации………………………………………………………………………. 45

Неявная (утиная) типизация………………………………………………………………………………………….. 46

Резюме…………………………………………………………………………………………………………………………………………. 48

Глава 3. Аннотации типов……………………………………………………………………… 49

Что такое аннотации типов?…………………………………………………………………………………………………….. 49

Использование аннотаций типов……………………………………………………………………………………………… 53

Автодополнение……………………………………………………………………………………………………………… 53

Проверка типов……………………………………………………………………………………………………………….. 53

Примеры найденных ошибок………………………………………………………………………………………… 55

Когда добавлять аннотации типа…………………………………………………………………………………………….. 57

Резюме…………………………………………………………………………………………………………………………………………. 57

Глава 4. Ограничивающие типы……………………………………………………………. 59

Аннотация Optional…………………………………………………………………………………………………………………… 59

Аннотация Union……………………………………………………………………………………………………………………….. 65

Тип-произведение и тип-сумма……………………………………………………………………………………… 67

Аннотация Literal………………………………………………………………………………………………………………………. 69

Аннотация Annotated…………………………………………………………………………………………………………………. 70

Аннотация NewType…………………………………………………………………………………………………………………… 70

Аннотация Final…………………………………………………………………………………………………………………………. 73

Резюме…………………………………………………………………………………………………………………………………………. 74

Глава 5. Коллекции……………………………………………………………………………….. 75

Аннотирование коллекций………………………………………………………………………………………………………… 75

Однородные и разнородные коллекции…………………………………………………………………………………… 76

Аннотация TypedDict…………………………………………………………………………………………………………………. 80

Создание новых типов коллекций……………………………………………………………………………………………. 82

Дженерики……………………………………………………………………………………………………………………….. 83

Изменение существующих типов………………………………………………………………………………….. 85

Так же просто, как ABC…………………………………………………………………………………………………. 88

Резюме…………………………………………………………………………………………………………………………………………. 90

Глава 6. Настройка проверки типов………………………………………………………. 91

Инструмент проверки типов mypy…………………………………………………………………………………………… 91

Параметры конфигурации……………………………………………………………………………………………… 92

Поиск динамической типизации……………………………………………………………………………. 93

Нетипизированные функции…………………………………………………………………………………. 94

Отслеживание None/Optional………………………………………………………………………………… 94

Отчеты mypy…………………………………………………………………………………………………………………… 95

Ускорение mypy……………………………………………………………………………………………………………… 96

Другие инструменты проверки типов………………………………………………………………………………………. 97

Pyre…………………………………………………………………………………………………………………………………… 97

Запросы к кодовой базе…………………………………………………………………………………………. 98

Pysa………………………………………………………………………………………………………………………… 100

Pyright…………………………………………………………………………………………………………………………….. 103

Резюме………………………………………………………………………………………………………………………………………. 105

Глава 7. Внедрение проверки типов……………………………………………………… 106

Поиск компромиссов……………………………………………………………………………………………………………….. 107

Быстрое получение выгоды……………………………………………………………………………………………………. 108

Поиск слабых мест……………………………………………………………………………………………………….. 108

Стратегические фрагменты кода………………………………………………………………………………… 109

Аннотирование только нового кода…………………………………………………………………… 109

Аннотирование снизу вверх………………………………………………………………………………… 109

Аннотирование основной бизнес-логики…………………………………………………………… 110

Аннотирование часто меняющегося кода………………………………………………………….. 110

Аннотирование сложного кода…………………………………………………………………………… 110

Использование инструментов……………………………………………………………………………………… 110

MonkeyType………………………………………………………………………………………………………….. 112

Pytype…………………………………………………………………………………………………………………….. 116

Резюме………………………………………………………………………………………………………………………………………. 117

Часть II. Определение ваших собственных типов…………. 119

Глава 8. Пользовательские типы: перечисления………………………………….. 121

Пользовательские типы…………………………………………………………………………………………………………… 121

Перечисления…………………………………………………………………………………………………………………………… 122

Тип Enum……………………………………………………………………………………………………………………….. 124

Когда не надо их использовать…………………………………………………………………………………… 125

Дополнительные возможности……………………………………………………………………………………………….. 126

Автоматические значения……………………………………………………………………………………………. 126

Тип Flag…………………………………………………………………………………………………………………………. 127

Целочисленные перечисления…………………………………………………………………………………….. 129

Уникальные значения…………………………………………………………………………………………………… 130

Резюме………………………………………………………………………………………………………………………………………. 131

Глава 9. Пользовательские типы: классы данных……………………………….. 132

Примеры классов данных……………………………………………………………………………………………………….. 132

Использование классов данных……………………………………………………………………………………………… 136

Строковые представления…………………………………………………………………………………………… 136

Равенство………………………………………………………………………………………………………………………. 137

Реляционное сравнение……………………………………………………………………………………………….. 138

Неизменяемость……………………………………………………………………………………………………………. 139

Сравнение с другими типами………………………………………………………………………………………………….. 141

Классы данных и словари…………………………………………………………………………………………… 141

Классы данных и TypedDict………………………………………………………………………………………… 142

Классы данных и namedtuple………………………………………………………………………………………. 142

Резюме………………………………………………………………………………………………………………………………………. 143

Глава 10. Пользовательские типы: классы…………………………………………… 144

Строение класса………………………………………………………………………………………………………………………. 144

Конструктор………………………………………………………………………………………………………………….. 145

Инварианты……………………………………………………………………………………………………………………………… 146

Нарушение инвариантов……………………………………………………………………………………………… 148

Зачем нужны инварианты……………………………………………………………………………………………. 149

Информативные инварианты………………………………………………………………………………………. 151

Для пользователей класса…………………………………………………………………………………… 152

При сопровождении кода…………………………………………………………………………………….. 153

Инкапсуляция и поддержка инвариантов……………………………………………………………………………… 155

Инкапсуляция……………………………………………………………………………………………………………….. 155

Доступ к данным…………………………………………………………………………………………………………… 155

Работа с данными…………………………………………………………………………………………………………. 158

Резюме………………………………………………………………………………………………………………………………………. 160

Глава 11. Определение своих интерфейсов…………………………………………… 162

Проектирование естественного интерфейса…………………………………………………………………………. 163

Думай как пользователь………………………………………………………………………………………………. 164

Разработка через тестирование………………………………………………………………………….. 164

Разработка через README…………………………………………………………………………………. 165

Юзабилити-тестирование……………………………………………………………………………………. 166

Естественные взаимодействия………………………………………………………………………………………………… 167

Естественные интерфейсы в действии………………………………………………………………………… 167

Магические методы……………………………………………………………………………………………………… 173

Контекстные менеджеры……………………………………………………………………………………………… 175

Резюме………………………………………………………………………………………………………………………………………. 177

Глава 12. Создание подтипов……………………………………………………………….. 178

Наследование…………………………………………………………………………………………………………………………… 178

Взаимозаменяемость……………………………………………………………………………………………………………….. 183

Рекомендации по проектированию………………………………………………………………………………………… 188

Композиция…………………………………………………………………………………………………………………… 189

Резюме………………………………………………………………………………………………………………………………………. 191

Глава 13. Протоколы……………………………………………………………………………. 193

Структурная и номинальная типизации………………………………………………………………………………… 193

Пустой тип и Any…………………………………………………………………………………………………………… 195

Использование Union…………………………………………………………………………………………………… 195

Использование наследования……………………………………………………………………………………… 196

Использование миксинов……………………………………………………………………………………………… 197

Протоколы………………………………………………………………………………………………………………………………… 198

Создание протокола…………………………………………………………………………………………………….. 199

Расширенное использование………………………………………………………………………………………………….. 200

Составные протоколы………………………………………………………………………………………………….. 200

Протоколы времени выполнения………………………………………………………………………………… 201

Протоколы для модулей………………………………………………………………………………………………. 202

Резюме………………………………………………………………………………………………………………………………………. 203

Глава 14. Проверки во время выполнения с помощью pydantic……………. 204

Динамическая конфигурация………………………………………………………………………………………………….. 204

Библиотека pydantic………………………………………………………………………………………………………………… 210

Валидаторы………………………………………………………………………………………………………………….. 212

Валидация и парсинг……………………………………………………………………………………………………. 215

Резюме………………………………………………………………………………………………………………………………………. 216

Часть III. Расширяемый код……………………………………………………… 219

Глава 15. Расширяемость……………………………………………………………………… 221

Что такое расширяемость?……………………………………………………………………………………………………… 221

Реструктуризация кода………………………………………………………………………………………………… 223

Принцип открытости/закрытости…………………………………………………………………………………………… 227

Поиск нарушений принципа………………………………………………………………………………………… 228

Недостатки OCP……………………………………………………………………………………………………………. 229

Резюме………………………………………………………………………………………………………………………………………. 230

Глава 16. Зависимости…………………………………………………………………………. 231

Взаимосвязи……………………………………………………………………………………………………………………………… 232

Типы зависимостей………………………………………………………………………………………………………………….. 234

Физические зависимости……………………………………………………………………………………………… 234

Логические зависимости………………………………………………………………………………………………. 238

Временные зависимости………………………………………………………………………………………………. 240

Визуализация зависимостей…………………………………………………………………………………………………… 241

Визуализация пакетов………………………………………………………………………………………………….. 242

Визуализация импорта………………………………………………………………………………………………… 243

Визуализация вызовов функций………………………………………………………………………………….. 243

Интерпретация графа зависимостей…………………………………………………………………………… 245

Резюме………………………………………………………………………………………………………………………………………. 246

Глава 17. Компонуемость…………………………………………………………………….. 248

Что такое компонуемость?……………………………………………………………………………………………………… 248

Разделение политик и механизмов…………………………………………………………………………………………. 252

Компонуемость в меньшем масштабе……………………………………………………………………………………. 255

Компонуемые функции………………………………………………………………………………………………… 255

Декораторы…………………………………………………………………………………………………………… 256

Компонуемые алгоритмы…………………………………………………………………………………………….. 259

Резюме………………………………………………………………………………………………………………………………………. 262

Глава 18. Событийно-ориентированная архитектура…………………………… 263

Как это работает……………………………………………………………………………………………………………………… 263

Недостатки……………………………………………………………………………………………………………………. 264

Простые события……………………………………………………………………………………………………………………… 266

Использование брокера сообщений……………………………………………………………………………. 266

Шаблон наблюдателя………………………………………………………………………………………………….. 268

Поток событий…………………………………………………………………………………………………………………………. 270

Резюме………………………………………………………………………………………………………………………………………. 273

Глава 19. Подключаемый код………………………………………………………………. 274

Шаблонный метод…………………………………………………………………………………………………………………… 275

Шаблон стратегии…………………………………………………………………………………………………………………… 278

Архитектура плагинов…………………………………………………………………………………………………………….. 279

Резюме………………………………………………………………………………………………………………………………………. 283

Часть IV. Ваша страховочная сетка……………………………………… 285

Глава 20. Статический анализ……………………………………………………………… 287

Линтинг…………………………………………………………………………………………………………………………………….. 287

Написание собственного плагина для Pylint……………………………………………………………… 289

Разбор плагина……………………………………………………………………………………………………………… 291

Другие статические анализаторы………………………………………………………………………………………….. 293

Проверки сложности…………………………………………………………………………………………………….. 294

Цикломатическая сложность Маккейба…………………………………………………………….. 294

Проверка отступов……………………………………………………………………………………………….. 296

Анализ безопасности……………………………………………………………………………………………………. 297

Утечка секретных данных…………………………………………………………………………………… 297

Проверка уязвимостей…………………………………………………………………………………………. 297

Резюме………………………………………………………………………………………………………………………………………. 298

Глава 21. Стратегия тестирования……………………………………………………….. 299

Определение вашей стратегии тестирования……………………………………………………………………….. 299

Что такое тесты?…………………………………………………………………………………………………………… 300

Пирамида тестирования………………………………………………………………………………………. 302

Снижение стоимости тестирования……………………………………………………………………………………….. 304

AAA-тестирование……………………………………………………………………………………………………….. 304

Arrange (настройка предусловий)……………………………………………………………………….. 305

Annihilate (очистка ресурсов)……………………………………………………………………………… 308

Act (действие)……………………………………………………………………………………………………….. 310

Assert (утверждение)…………………………………………………………………………………………….. 311

Резюме………………………………………………………………………………………………………………………………………. 314

Глава 22. Приемочное тестирование…………………………………………………….. 315

Разработка через поведение (BDD)………………………………………………………………………………………… 316

Язык Gherkin………………………………………………………………………………………………………………….. 316

Исполняемые спецификации……………………………………………………………………………………….. 318

Дополнительные возможности behave…………………………………………………………………………………… 321

Параметризованные шаги……………………………………………………………………………………………. 321

Требования, составленные в виде таблиц………………………………………………………………….. 321

Регулярные выражения………………………………………………………………………………………………… 322

Настройка жизненного цикла теста……………………………………………………………………………. 322

Использование тегов для выборочного запуска тестов……………………………………………. 323

Генерация отчетов……………………………………………………………………………………………………….. 323

Резюме………………………………………………………………………………………………………………………………………. 325

Глава 23. Тестирование на основе свойств…………………………………………… 326

Тестирование с помощью Hypothesis…………………………………………………………………………………….. 326

Магия Hypothesis………………………………………………………………………………………………………….. 330

Отличия от традиционных тестов………………………………………………………………………………. 331

Дополнительные возможности Hypothesis……………………………………………………………………………. 332

Стратегии Hypothesis…………………………………………………………………………………………………… 332

Генерирование алгоритмов…………………………………………………………………………………………. 333

Резюме………………………………………………………………………………………………………………………………………. 337

Глава 24. Мутационное тестирование………………………………………………….. 338

Что такое мутационное тестирование?…………………………………………………………………………………. 338

Использование mutmut…………………………………………………………………………………………………………….. 341

Исправление мутантов…………………………………………………………………………………………………. 343

Отчеты о тестировании………………………………………………………………………………………………… 343

Внедрение мутационного тестирования……………………………………………………………………………….. 344

Проблема с показателем покрытия (и другими метриками)…………………………………….. 346

Резюме………………………………………………………………………………………………………………………………………. 347

Опубликовано

Долгожданная новинка: “Rust в действии”

Rust в действии

Представляем книгу Тима Макнамары “Rust в действии”.

Книга о прикладных аспектах языка программирования Rust, описывающая внутреннее устройство языка и сферы его использования. Rust рассматривается как современное дополнение для С при программировании ядра ОС и при системном программировании, а также как низкоуровневый скоростной язык, обеспечивающий максимальную производительность. Объяснены тонкости работы с процессором, многопоточное программирование, работа с памятью, а также взаимодействие с Linux. Изложенный материал позволяет как писать современные приложения на Rust с нуля, так и внедрять Rust в сложившуюся базу кода.

Книга ориентирована на специалистов по C, Linux, системному программированию и на всех, кто желает освоить Rust и сразу приступить к работе с ним.

TS McNamara

Тим Макнамара – опытнейший новозеландский программист, работающий с Rust с 2016 года; ведущий специалист по внедрению Rust в компании LinkedIn. Специализируется на конвейерной обработке данных, интересуется обработкой естественного языка, экспериментирует с интероперабельностью Rust и C/C++.

Вы изучите применение Rust в следующих областях:

  • Создание средств для работы с файлам
  • Работа в сети и программирование ядра ОС
  • Многопроцессорная и многопоточная обработка, конкурентность, блокировки, параллелизм
  • Создание консольных, графических и сетевых приложений
  • Программирование для Интернета вещей (IoT)
  • Обработка сигналов
  • Виртуализация и применение Rust в Linux
  • Управление памятью и сборка мусора

Книгу “Rust в действии” можно купить со скидкой в интернет-магазине издательства “БХВ”.

Опубликовано

Симдянов И. Самоучитель Ruby

Самоучитель RubyRuby — это динамический, рефлективный, интерпретируемый высокоуровневый язык программирования, который часто используется для создания веб-приложений. Однако одной этой областью возможности применения Ruby, конечно же, не ограничиваются. Всем, кто желает освоить этот замечательный язык программирования, мы рекомендуем самоучитель Игоря Симдянова. В этой книге язык Ruby излагается последовательно от простого к сложному. Описываются интерпретатор Ruby, утилиты, детально рассматривается современная Ruby-экосистема, работа со стандартной и сторонними библиотеками. Дан разбор синтаксических конструкций: операторов, переменных, констант, конструкций ветвления и циклов, блоков и итераторов. Подробно описаны объектно-ориентированные возможности Ruby: классы, модули, объекты и методы. Показано практическое применение языка Ruby в веб-программировании и автоматическом тестировании. Для закрепления материала в конце глав приводятся задания. С по¬мощью книги можно не только освоить язык Ruby, но и подготовиться к работе с профессиональными фреймворками: Ruby on Rails, Sinatra, RSpec, MiniTest и Cucumber. Опытных разработчиков может заинтересовать подробное описание нововведений версий от 2.0 до 2.6. Электронный архив с исходными кодами доступен на сайте издательства и GitHub. В ближайшее время книга появится в розничной продаже.