Контекст, параллельное обучение и материалы по другим темам для начинающих работать над ИИ-агентами

23 сентября эксперты MWS расскажут, как самостоятельно создавать ИИ-агентов — с помощью кода или без. Мы поделимся, как доработали Langflow под реальные задачи. Встреча онлайн, регистрация — по ссылке ^[1]. 

Сегодня же мы собрали несколько полезных материалов для желающих разобраться самостоятельно в устройстве работы ИИ-агентов (или написать собственную интеллектуальную систему).

ИИ-агенты для чайников

Инженер и разработчик LLM Закари Хуанг подготовил руководство ^[2] для начинающих погружение в сферу разработки ИИ-агентов. Он утверждает, что при сильном упрощении агентные системы можно представить в виде графов с тремя типами узлов: 1) принятия решений; 2) действий/операций; и 3) терминации процесса. Эти узлы могут быть связаны между собой или ребрами, или циклами — ребрами, которые начинаются и заканчиваются в одной и той же вершине. 

Для наглядности автор сравнивает работу агентной системы с процессом приготовления пищи. Каждый узел может выполнять три задачи: собирать данные и ингредиенты, обрабатывать их согласно инструкциям и передавать на следующий этап «приготовления». При этом память ^[3] системы — это своеобразная рабочая поверхность, на которой лежат промежуточные результаты. 

Во второй части руководства Хуанг показывает, как собрать и запустить собственного ИИ-агента, способного искать ответы на вопросы в интернете. Разумеется, каждый этап разбирается на примерах с кодом и графами. 

Автор использует фреймворк PocketFlow ^[4], который позволяет «заглянуть под капот», то есть увидеть, как работают ИИ-агенты изнутри. 

В целом читатели хвалят материал за простоту и доступный разбор темы. В то же время автор отмечает, что его руководство предназначено для новичков, и к нему можно относиться как к упрощенной версии официальной документации PocketFlow Agent.

Параллельное обучение

Model Parallelism 101 ^[5] — руководство по распараллеливанию обучения ^[6] ML-моделей между несколькими GPU и вычислительными системами. Его автор — Эммануэль Амейзен, ML-специалист компании Anthropic и автор книги «Создание приложений машинного обучения: от идеи к продукту», изданной O’Reilly. 

Его ноутбук ^[5] посвящен подходам, позволяющим обучать модели с сотнями миллиардов параметров:

• Параллелизм данных. На каждом узле хранится полная копия модели, узлы вычисляют градиенты, а затем они агрегируются и синхронизируются.

• Тензорный параллелизм. Веса одного слоя делятся между нодами, например, вычисления идут на разных GPU. Такой подход жёстко завязан на архитектуру модели, а еще возрастает нагрузка на сеть.

• Конвейерный параллелизм. Слои модели распределяются по узлам, и они работают с разными пакетами данных.

Руководства и код Амейзен выложил на GitHub ^[5] под лицензией GNU GPL v3.0.

Агенты на TypeScript

Исаак Хагоэль — ведущий инженер в Atlassian (раньше он работал в Intel и TripAdvisor). Он занимается разработкой систем ИИ: в его портфолио числится коммерческая аналитическая система на базе RAG и несколько пет-проектов вроде ИИ-агента для написания тестов и автоматизации QA. Исаак заметил, что авторы материалов по теме ИИ-агентов обходят стороной многие практические вещи — чтобы заполнить пробел, он решил написать собственную статью ^[7].

Например, автор утверждает, что при разработке агентских систем необходимо в обязательном порядке использовать структурированные выводы (Structured Outputs ^[8]). В частности, она позволяет задать JSON-схему, которой будет следовать модель при ответе — ее не придется каждый раз «умолять» предоставить данные в нужном виде. 

Также автор предлагает обратить внимание ^[9] на то, что иллюзия диалога с LLM создается за счет передачи предыдущих вопросов и ответов в новом запросе. Поэтому он предлагает сохранять только релевантную историю, исключая все лишнее из запроса — например, инструкции, которые не важны для текущей задачи.

Отдельно автор останавливается на извечной дилемме выбора языка — он проводит параллели между Python и TypeScript, выделяет преимущества и недостатки каждого ЯП. Как правило, Python гораздо привычнее для дата-сайентистов, которые работают с ML-библиотеками, но сам Исаак отдает предпочтение TypeScript (не в меньшей степени из-за статической типизации). 

В материале автор показал свои идеи на примере маркетинговой email-системы из четырех агентов: один собирает данные о клиентах, другой подбирает продукты, третий пишет письмо по шаблону, а четвертый выступает редактором — для наглядности все лучшие практики проиллюстрированы кодом.

Контекст: базовый опыт

Погружение в разработку ИИ-агентов требует понимания лучших практик. Референсом могут быть материалы профильных компаний, в которых они делятся опытом ^[10]. 

Недавно команда ManusAI — стартапа, создающего универсального агента, способного не просто отвечать на запросы, но и выполнять задачи без участия пользователя — поделилась ^[11] опытом управления контекстом. 

Например, команда рекомендует по максимуму использовать KV-кеш — механизм, позволяющий хранить уже обработанные части текста. Это важно, потому что контекст расширяется за счет добавления новых действий и наблюдений. В Manus, среднее соотношение входных и выходных токенов составляет 100:1. При высоком проценте попаданий в кеш время отклика снижается, а стоимость вычислений сокращается в 10 раз.

Также авторы пишут, что контекстные окна современных LLM превышают 128 тыс. токенов, но в реальных агентных сценариях этого, как правило, недостаточно. Чтобы решить проблему, многие системы прибегают к усечению контекста, но чрезмерное сжатие непременно ведёт к потере информации. Manus же применяют иной подход и используют «абсолютный контекст», чтобы избегать компрессии. 

В заключение специалисты отмечают: «то, как вы формируете контекст, определяет поведение ^[12] агента: скорость работы, устойчивость к сбоям и способность к масштабированию».