Книга посвящена практическому использованию современных языковых моделей и методам работы с текстовыми данными. Рассматриваются ключевые принципы, лежащие в основе архитектуры трансформеров, а также способы применения предобученных моделей для генерации текста, аннотирования, классификации и семантического поиска. Подробно разобраны техники построения поисковых систем на базе векторных представлений, методы переранжирования, подходы к анализу и кластеризации документов, а также принципы использования генеративных моделей — от приемов работы с запросами до решений с дополненной выборкой (RAG). Особое внимание уделено практическим рекомендациям по созданию эффективных конвейеров LLM и оптимизации моделей под конкретные задачи с помощью современных методов обучения.
Для специалистов по ИИ, инженеров по данным, разработчиков, технических руководителей
В последние годы искусственный интеллект сделал заметный рывок в развитии языковых возможностей. Быстрый прогресс в области глубокого обучения привел к появлению моделей, которые умеют писать и понимать текст значительно лучше, чем прежде. Эти достижения уже позволяют создавать новые функции, продукты и даже целые отрасли. Благодаря наглядной подаче материала книга поможет читателю освоить практические инструменты и концепции, необходимые для использования таких технологий сегодня.
Из книги вы узнаете:
- как применять предобученные большие языковые модели для задач копирайтинга и аннотирования;
- как строить системы семантического поиска, выходящие за рамки простого сопоставления ключевых слов;
- как использовать существующие библиотеки и модели для классификации, поиска и кластеризации текстов.
Книга объясняет:
- как устроены трансформерные языковые модели, обеспечивающие высокое качество генерации и представления текста;
- как создавать продвинутые конвейеры на базе больших языковых моделей (LLM) для кластеризации документов и исследования их тематического содержания;
- как применять такие методы, как векторный поиск и переранжирование, чтобы строить семантические поисковые системы, не ограниченные поиском по ключевым словам;
- как использовать генеративные модели — от техники составления запросов (промпт-инжиниринг) до генерации с дополненной выборкой (RAG);
- как глубже разобраться с методами обучения LLM и способами их оптимизации для конкретных задач, используя дообучение генеративных моделей, сравнительное дообучение и контекстное обучение.
Понимание языка и генерация текстов
В своей книге Джей и Маартен продолжают традиции увлекательного, красочного и доходчивого объяснения самых сложных вопросов. Это незаменимое пособие для тех, кто хочет изучить основные способы создания больших языковых моделей
Эндрю Ын, основатель DeepLearning.AI
Мне трудно представить более важную книгу, которую необходимо прочитать именно сейчас. Практически на каждой странице я находил что-то полезное для достижения успеха в эпоху языковых моделей
Джей Аламмар – исполнительный директор по инжинирингу в компании Cohere.
Книгу “Большие языковые модели на практике: Понимание языка и генерация текстов” можно купить в нашем интенет-магазине.
