Книга: «Строим LLM с нуля»
Привет, Хаброжители!
Говорят, что физик Ричард Фейнман однажды сказал: «Я не понимаю того, чего не могу создать». Основываясь на этом же важном принципе, автор бестселлеров Себастьян Рашка шаг за шагом ведет вас к созданию LLM в стиле GPT, которую вы сможете запустить на своем ноутбуке. Это увлекательная книга, которая охватывает каждый этап процесса — от планирования и кодирования до обучения [1] и тонкой настройки.
«Строим LLM с нуля» — это чрезвычайно занимательное путешествие в основы генеративного ИИ. Не полагаясь на существующие библиотеки LLM, вы реализуете в коде базовую модель, превратите ее в классификатор текста и в конечном счете создадите чат-бот, который сможет следовать вашим инструкциям в диалоге. И вы действительно поймете LLM, потому что создали ее сами!
В этой книге:
• План создания с нуля LLM, сравнимой с GPT-2.
• Загрузка предварительно обученных весов.
• Создание полного конвейера обучения.
• Тонкая настройка LLM для классификации текста.
• Разработка LLM, которая следует инструкциям человека.
Читателям понадобятся базовые знания Python и понимание основ машинного обучения. Созданная вами LLM будет работать на любом современном ноутбуке и при необходимости может использовать графические процессоры.
Кому следует прочитать эту книгу
Книга предназначена для приверженцев машинного обучения, инженеров, исследователей, студентов и практиков, которые хотят получить глубокое представление о том, как работают LLM, и научиться создавать собственные модели с нуля. Как новички, так и опытные разработчики, применяя уже имеющиеся навыки и знания, смогут понять концепции и методы, используемые при создании LLM.
Отличие этой книги от других состоит в том, что в ней подробно описан весь процесс создания большой языковой модели: от работы с наборами данных до реализации архитектуры модели, предварительного обучения на неразмеченных данных и тонкой настройки для конкретных задач. На момент написания книги ни один другой ресурс не предлагает такого полного и практического подхода к созданию LLM с нуля.
Чтобы понять примеры кода в данной книге, вы должны хорошо разбираться в программировании на Python. Знакомство с машинным обучением, глубоким обучением и искусственным интеллектом [2] (ИИ) может быть полезным, однако обширные знания в этих областях не требуются. Большие языковые модели — уникальное подмножество ИИ, поэтому, даже если вы новичок в области LLM, вы сумеете разобраться в материале этой книги.
Если у вас есть опыт [3] работы с глубокими нейронными сетями, то некоторые концепции могут показаться вам более знакомыми, поскольку LLM основаны на этих моделях. Однако знание PyTorch не является обязательным. В приложении A представлено краткое введение в PyTorch, которое поможет вам освоить навыки, необходимые для понимания примеров кода в книге.
Понимание математики [4] на уровне средней школы, особенно работа с векторами и матрицами, может быть полезным при изучении внутреннего устройства LLM. Тем не менее ключевые концепции и идеи, представленные в этой книге, не требуют глубоких математических знаний.
Самое важное — наличие опыта программирования на Python. Обладая им, вы будете хорошо подготовлены к изучению больших языковых моделей и сможете понять концепции и примеры кода, представленные в книге.
«По-настоящему вдохновляет и мотивирует вас применять свои новые навыки на практике».
— Бенджамин Мускалла, старший инженер, GitHub
«Самое понятное и исчерпывающее объяснение языковых моделей на данный момент!»
— Кэмерон Вульф, старший научный [5] сотрудник Netflix
«Себастьян сочетает глубокие знания с практическими инженерными навыками и умением простым языком объяснять сложные вещи. Это именно то руководство, которое вам нужно!»
— Чип Хьюен, автор книги AI Engineering
«Определенно актуальная книга. Настоятельно рекомендую!»
— Доктор Вахид Мирджалили, старший аналитик, FM Global
Об авторе
Себастьян Рашка
PhD, более десяти лет работает в области машинного обучения и искусственного интеллекта. Известен своими бестселлерами, посвященными машинному обучению на Python, и вкладом в открытый исходный код.
Себастьян — штатный инженер-исследователь в Lightning AI, специализирующийся на обучении и внедрении больших языковых моделей. До работы в этой компании был доцентом кафедры статистики в Университете Висконсин-Мэдисон, где занимался исследованиями в области глубокого обучения. Подробнее о Себастьяне можно узнать по адресу https://sebastianraschka.com [6].
Ознакомиться с оглавлением
Полистать отрывок
Приобрести книгу «Строим LLM с нуля» можно на нашем сайте [7].
По факту оплаты бумажной версии книги на e‑mail высылается электронная книга.
Для Хаброжителей скидка 25% по купону — LLM
Автор: ph_piter
Источник [8]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/21035
URLs in this post:
[1] обучения: http://www.braintools.ru/article/5125
[2] интеллектом: http://www.braintools.ru/article/7605
[3] опыт: http://www.braintools.ru/article/6952
[4] математики: http://www.braintools.ru/article/7620
[5] научный: http://www.braintools.ru/article/7634
[6] https://sebastianraschka.com: https://sebastianraschka.com
[7] на нашем сайте: https://www.piter.com/collection/new/product/stroim-llm-s-nulya?utm_source=habr&utm_medium=post&utm_campaign=manning&utm_content=stroim-llm-s-nulya&utm_term=book3
[8] Источник: https://habr.com/ru/companies/piter/articles/958724/?utm_source=habrahabr&utm_medium=rss&utm_campaign=958724
Нажмите здесь для печати.